網(wǎng)站推廣公司淺析蜘蛛爬蟲又可以分為哪些類型？通用搜索引擎每天面對的是數(shù)百億多的網(wǎng)頁需要處理，還要將如此海量的網(wǎng)頁數(shù)據(jù)傳送到本地，在本地形成互聯(lián)網(wǎng)網(wǎng)頁的鏡像備份。因此這時候蜘蛛爬蟲在系統(tǒng)中起著很關(guān)鍵的作用。那么根據(jù)具體應(yīng)用的不同，爬蟲系統(tǒng)在許多方面存在差異，因此又將蜘蛛爬蟲分為以下以種類型。
1、批量爬蟲
批量型爬蟲有比較明確的抓取范圍和目標(biāo)，當(dāng)爬蟲達到這個設(shè)定的目標(biāo)后，即停止抓取過程。至于具體目標(biāo)可能各異，也許是設(shè)定抓取一定數(shù)量的網(wǎng)頁即可，也許是設(shè)定抓取消耗的時間等，不一而足。
2、增量型爬蟲
增量型爬蟲與批量型爬蟲不同，會保持持續(xù)不斷的抓取，對于抓取到的網(wǎng)頁，要定期更新，因為互聯(lián)網(wǎng)網(wǎng)頁處于不斷變化中，新增網(wǎng)頁、網(wǎng)頁被刪除或者網(wǎng)頁內(nèi)容更改都很常見，而增量型爬蟲需要及時反映這種變化，所以處于持續(xù)不斷的抓取過程中，不是在抓取新網(wǎng)頁，就是在更新已有網(wǎng)頁。
3、垂直型爬蟲
垂直型爬蟲一個最大的特點和難點就是：如何識別網(wǎng)頁內(nèi)容是否屬于指定行業(yè)或者主題。它只需要從互聯(lián)網(wǎng)頁面里找到與用戶搜索相關(guān)的頁面內(nèi)容即可，其他行業(yè)的內(nèi)容不在考慮范圍，不去抓取無關(guān)頁面以達到節(jié)省資源的目的。深圳博納網(wǎng)站推廣公司編輯整理關(guān)于“網(wǎng)站推廣公司淺析蜘蛛爬蟲又可以分為哪些類型”知識就介紹分享到這里，謝謝關(guān)注。
