百度搜索引擎解決很多的網(wǎng)頁。一方面，為了能節(jié)約網(wǎng)絡(luò)帶寬、測算和服務(wù)器資源，另一方面，以便滿足用戶的檢索要求，采用不足的網(wǎng)絡(luò)資源來捕捉有價值的網(wǎng)頁，因而百度搜索引擎在解決很多網(wǎng)頁的時候會有一定的策略。文中簡要介紹了互聯(lián)網(wǎng)爬行的關(guān)鍵策略，如深度廣度優(yōu)先選擇、深層解析xml策略、非反復(fù)爬行策略、大網(wǎng)站優(yōu)先選擇策略、不完全pagerank策略、OCIP策略、協(xié)作爬行策略。
深度優(yōu)先，深度優(yōu)先的解析xml策略；深度廣度優(yōu)先選擇的原因是關(guān)鍵的網(wǎng)頁通常貼近種子網(wǎng)站；因特網(wǎng)的深層沒有我們預(yù)估的那樣深，反而是出乎意料的深（中國萬維網(wǎng)僅有17個孔徑和長短，即在隨意2個網(wǎng)頁中間能夠瀏覽17次）；多履帶式協(xié)作抓取深度優(yōu)先的不好結(jié)論：非常容易使履帶式深陷過流保護(hù)，不可反復(fù)抓??；不可把握機(jī)會；
處理以上2個缺陷的方法是什么深度優(yōu)先抓取和非反復(fù)抓取策略；避免履帶式從無期限地以總寬優(yōu)先選擇抓取，務(wù)必在一定的深層抓取。做到此深層即因特網(wǎng)的外徑和長短后，限定水平并終止抓取。當(dāng)爬行終止在深層時，這些過深而并沒有爬行的頁面一直期待從別的種籽網(wǎng)站更經(jīng)濟(jì)實惠地抵達(dá)。
限定抓取深層會毀壞無限循環(huán)的標(biāo)準(zhǔn)，即便循環(huán)系統(tǒng)產(chǎn)生，也會在比較有限的頻率后終止。點(diǎn)評：總寬優(yōu)先選擇、深度優(yōu)先的解析xml策略能夠合理地確保爬行全過程的緊密性，即在爬行全過程（解析xml途徑）中，一直對同一網(wǎng)站域名下的網(wǎng)頁開展爬行，而對別的網(wǎng)站域名下的網(wǎng)頁則非常少。
無反復(fù)抓取策略確保了一個轉(zhuǎn)變并不大的網(wǎng)頁只有被抓取一次，避免反復(fù)抓取占有很多的CPU和網(wǎng)絡(luò)帶寬自然資源，進(jìn)而集中化比較有限的網(wǎng)絡(luò)資源地區(qū)來抓取更重要、更高質(zhì)量網(wǎng)頁。Larser網(wǎng)站優(yōu)先選擇一般是商業(yè)網(wǎng)站的高品質(zhì)具體內(nèi)容，網(wǎng)頁品質(zhì)一般比較高。從企業(yè)網(wǎng)站的視角考量網(wǎng)頁的重要性有一定的根據(jù)。針對要爬網(wǎng)的URL序列里的頁面，下載優(yōu)先由等候下載的頁面數(shù)確定。
下載頁面（不完整Internet頁面的子集合）的一部分pagerank策略（一部分pagerank）與待爬行的URL序列里的URL一起產(chǎn)生一組頁面，請在集合中測算pagerank；通過測算，待爬行的URL序列里的頁面依據(jù)pagerank評分由高到低排列，產(chǎn)生一個SE。那就是履帶拼湊。應(yīng)先后往下爬行的URL目錄。因為pagerank是一種全局性優(yōu)化算法，即當(dāng)每一個頁面都被下載時，數(shù)值是靠譜的，可是爬行器在爬行情況下只有觸碰到一部分頁面，因此爬行時無法實現(xiàn)靠譜的pagerank測算，因此稱之為不完全pagerank策略。
OCIP策略（線上頁面必要性測算）字面意思是“線上頁面必要性測算”，這是一種改善的pagerank優(yōu)化算法。在優(yōu)化算法逐漸以前，每一個Internet頁面都被分派同樣的值。當(dāng)一個頁面p被下載時，p將它自身的值平分給頁面中包括的連接，與此同時消除它自身的值。針對要爬網(wǎng)的URL序列里的網(wǎng)頁，優(yōu)先考慮依據(jù)目前值的尺寸下載值很大的網(wǎng)頁。
協(xié)作爬行策略（爬行加快策略）能通過提升爬行器的數(shù)目來增強(qiáng)總體的爬行速率，但工作中負(fù)荷必須溶解為不一樣的互聯(lián)網(wǎng)爬行器，以保證職責(zé)分工清楚，避免好幾個爬行器在同一頁面上爬行，使資源被浪費(fèi)。
根據(jù)溶解網(wǎng)絡(luò)主機(jī)的IP地址，讓網(wǎng)絡(luò)爬蟲只抓取大中小型網(wǎng)址的一個網(wǎng)頁段，因為資金緣故，一般在一臺服務(wù)器上給予不一樣的互聯(lián)網(wǎng)服務(wù)，使好幾個網(wǎng)站域名相匹配一個IP段；而新浪網(wǎng)、搜狐網(wǎng)等商業(yè)網(wǎng)站一般應(yīng)用web服務(wù)的IP gro。往上技術(shù)性，同一網(wǎng)站域名相匹配好幾個。IP地址。因而，這類方式不方便。根據(jù)溶解網(wǎng)頁的網(wǎng)站域名，網(wǎng)絡(luò)爬蟲只有對網(wǎng)頁的網(wǎng)站域名一部分開展網(wǎng)絡(luò)爬蟲，并且為不一樣的網(wǎng)絡(luò)爬蟲分派不一樣的網(wǎng)站域名。
