隨著信息時(shí)代的發(fā)展，人們留存在互聯(lián)網(wǎng)信息越來越多，原本零散存在的信息，現(xiàn)通過使用垂直類爬蟲定向爬取，會(huì)導(dǎo)致個(gè)人信息的泄露與電信欺騙。

對(duì)于網(wǎng)站來說，垂直類爬蟲可以批量化的定向采集網(wǎng)站高價(jià)值信息，這會(huì)導(dǎo)致網(wǎng)站沉淀多年的數(shù)字資產(chǎn)，在短期的時(shí)間內(nèi)以極高的速率流失，給企業(yè)經(jīng)營(yíng)帶來不可估計(jì)的損失與影響。

垂直類網(wǎng)絡(luò)爬蟲是網(wǎng)絡(luò)爬蟲的一個(gè)新興分支，相比傳統(tǒng)的網(wǎng)絡(luò)爬蟲，這種垂直類網(wǎng)絡(luò)爬蟲，其機(jī)器特征更小，擬人度更高。由于單個(gè)垂直類爬蟲獲取的信息任務(wù)量不高，故此類爬蟲在爬取數(shù)據(jù)時(shí)，會(huì)以較慢的速率采集信息，不使用多線程等明顯增加服務(wù)器壓力的暴力方法，綜合起來，即該類爬蟲沒有顯性的惡意特征。

現(xiàn)有的基于惡意特征識(shí)別的流量檢測(cè)技術(shù)，對(duì)此類爬蟲識(shí)別效果不佳，為此，本發(fā)明通過研究發(fā)現(xiàn)垂直類爬蟲的行為具有明顯的不平衡性，提出一種基于行為平衡度的垂直類網(wǎng)絡(luò)爬蟲識(shí)別檢測(cè)方法，來檢測(cè)出網(wǎng)站訪問流量中的垂直類爬蟲流量。

本發(fā)明的目的是為了解決在網(wǎng)絡(luò)訪問流量中對(duì)缺乏惡意特征的垂直類爬蟲流量檢測(cè)識(shí)別問題，提出了一種基于行為平衡度的垂直類網(wǎng)絡(luò)爬蟲檢測(cè)識(shí)別方法，該方法通過研究網(wǎng)站頁面數(shù)據(jù)量與閱讀停留時(shí)間的關(guān)系，發(fā)現(xiàn)垂直類網(wǎng)絡(luò)爬蟲在訪問頁面數(shù)據(jù)時(shí)，與自然人訪問行為對(duì)比，具有明顯的不平衡性，依此特性建立針對(duì)垂直類網(wǎng)絡(luò)爬蟲的流量檢測(cè)方法。具體包括：(1)基于網(wǎng)站頁面信息量的合理停滯時(shí)間建模，(2)基于不同躍遷深度訪問的行為平衡度建模。