爬行和爬取是搜索引擎工作中的著名步，進(jìn)行數(shù)據(jù)采集的工作。
搜索引擎用于爬行和瀏覽而面的程序流程被稱作蜘蛛，也稱作智能機(jī)器人
搜索引擎蜘蛛訪問網(wǎng)站頁面時類似一般用戶應(yīng)用的瀏覽器，蜘蛛程序流程傳出頁面瀏覽要求后，缺少對象HTML編碼，蜘蛛程序流程把接到的編碼存進(jìn)初始頁面數(shù)據(jù)庫系統(tǒng)，搜索引擎為了提高爬行和爬取速率，都應(yīng)用好幾個蜘蛛并公布爬行。
蜘蛛瀏覽任何一個網(wǎng)址時，都是會先訪問網(wǎng)站根目錄下的robots.txt文件，假如robots.txt文件嚴(yán)禁搜索引擎爬取一些文件或目錄，蜘蛛將遵循協(xié)議書，不爬取被禁止訪問的網(wǎng)站。
和電腦瀏覽器一樣，搜索引擎蜘蛛也是有標(biāo)出自己身份的代理商名字，工作人員能夠在日志文檔中見到搜索引擎的特殊代理商名字，進(jìn)而分辯搜索引擎蜘蛛。

2. 追蹤連接
因為爬取在網(wǎng)上盡可能多的是頁面，搜索引擎蜘蛛會追蹤頁面里的連接，從一個頁面爬上去下一個頁面，就像蜘蛛在蜘蛛在網(wǎng)上爬行那般，也便是搜索引擎蜘蛛這個名稱的由來。
全部互聯(lián)網(wǎng)是由互相連接的網(wǎng)址及頁面構(gòu)成的。從理論上來講 ，蜘蛛從任何一個頁面考慮，沿著連接都能夠爬行到在網(wǎng)上的全部頁面，自然，因為網(wǎng)址及頁面連接構(gòu)造出現(xiàn)異常繁雜，蜘蛛必須采用一定的爬行對策才可以解析xml在網(wǎng)上每一個頁面。

較簡單爬行解析xml對策分成二種，一種是深度優(yōu)先，另一種是深度優(yōu)先選擇。
所說深度優(yōu)先，是指蜘蛛順著發(fā)覺的連接一直向前爬行，直至前邊再也不會別的連接，隨后回到到著名頁面，順著另一個連接一直向前爬行。

蜘蛛追蹤連接，從A頁面爬行到A1.A2.A3.A4.到A4頁面后，現(xiàn)已并沒有其他連接能夠追蹤就回到A頁面，沿著頁面里的另一個連接，爬行到B1,B2.B3.B4.在深度優(yōu)先對策中，蜘蛛一直爬上去沒法再往前，才回到爬另一條線。

深度廣度優(yōu)先選擇就是指蜘蛛在一個頁面上發(fā)覺好幾個連接旮，并不是沿著一個連接姨直往前，反而是把頁面上全部著名層連接都爬一遍，然后順著第二層頁面上發(fā)覺的連接爬向第三層頁面。
如下圖2－21所顯示，蜘蛛從A頁面沿著連接爬行到A1,B1,C1頁面，直至A1頁面里的全部連接都爬行完，隨后再從A1頁面發(fā)覺的下一層連接，爬行到A2.A3.A4.……。頁面

從理論上來講，不論是深度優(yōu)先或是深度廣度優(yōu)先選擇，只需給蜘蛛足夠的時間，都可以爬完全個互聯(lián)網(wǎng)技術(shù)。在現(xiàn)實工作上，蜘蛛的網(wǎng)絡(luò)帶寬網(wǎng)絡(luò)資源，時間都并不是無盡的，也不太可能爬完每一個頁面。事實上比較大的搜索引擎也只是爬行和收集了互聯(lián)網(wǎng)的一小部分。
深度優(yōu)先和深度廣度優(yōu)先選擇一般是混和應(yīng)用的，那樣即可以照料到盡可能多的是網(wǎng)址（深度廣度優(yōu)先選擇），也可以照料到一部分網(wǎng)址的內(nèi)容頁（深度優(yōu)先）專業(yè)網(wǎng)站建設(shè)企業(yè)每日共享seo優(yōu)化專業(yè)知識，我希望你能與您變成忠誠的好好朋友，一起學(xué)習(xí)討論建網(wǎng)站技術(shù)性。