作為一名合格的seoER，我們接觸的是網(wǎng)站，接觸的是搜索引擎，既然如此，那么我們就必須對(duì)搜索引擎有一定的了解，只有這樣才能做出效果。

1、種子URL

所謂種子URL所指的就是最開始選定的URL地址，大多數(shù)情況下，網(wǎng)站的首頁(yè)、頻道頁(yè)等豐富性內(nèi)容更多的頁(yè)面會(huì)被作為種子URL;

然后將這些種子URL放入到待抓取的URL列表中;

2、待抓取URL列表

爬蟲從待抓取的URL列表中逐個(gè)進(jìn)行讀取，讀取URL的過程中，會(huì)將URL通過DNS解析，把這個(gè)URL地址轉(zhuǎn)換成網(wǎng)站服務(wù)器的IP地址+相對(duì)路徑的方式;

3、網(wǎng)頁(yè)下載器

接下來(lái)把這個(gè)地址交給網(wǎng)頁(yè)下載器(所謂網(wǎng)頁(yè)下載器，顧名思義就是負(fù)責(zé)下載網(wǎng)頁(yè)內(nèi)容的一個(gè)模塊;

4、源代碼

對(duì)于下載到本地的網(wǎng)頁(yè)，也就是我們網(wǎng)頁(yè)的源代碼，一方面要將這個(gè)網(wǎng)頁(yè)存儲(chǔ)到網(wǎng)頁(yè)庫(kù)中，另一方面會(huì)從下載網(wǎng)頁(yè)中再次提取URL地址。

5、抽取URL

新提取出來(lái)的URL地址會(huì)先在已抓取的URL列表中進(jìn)行比對(duì)，檢查一下這個(gè)網(wǎng)頁(yè)是不是被抓取了。

6、新URL存入待抓取隊(duì)列

如果網(wǎng)頁(yè)沒有被抓取，就將新的URL地址放入到待抓取的URL列表的末尾，等待被抓取。

就這樣循環(huán)的工作著，直到待抓取隊(duì)列為空的時(shí)候，爬蟲就算完成了抓取的全過程。

然后以下載的網(wǎng)頁(yè)，就都會(huì)進(jìn)入到一定的分析中，分析后進(jìn)行索引，我們就能看到收錄結(jié)果了。

對(duì)于真正的爬蟲來(lái)說，先抓哪些頁(yè)面、后抓哪些頁(yè)面，以及不抓哪些頁(yè)面等等都是有一定的策略的，這里講述的是一個(gè)比較通過、普遍的爬蟲抓取流程，身為SEO的我們，知道這些足以。