目前主流的搜索引擎有：Baiduspider（百度蜘蛛的名字）、Googlebot（谷歌蜘蛛的名字）、360Spider（360好搜蜘蛛的名字）、Sogou News Spider（騰訊的搜狗蜘蛛的名字）、Yahoo! Slurp China”或者Yahoo（雅虎蜘蛛的名字）、YoudaoBot（有道蜘蛛的名字）等，可以把這些叫做網(wǎng)絡(luò)蜘蛛，由它來(lái)抓取網(wǎng)絡(luò)上的內(nèi)容。

下面以百度為例分享一下搜索引擎工作原理：

一、抓取：

搜索引擎主要作用是方便用戶查找資料。想得到蜘蛛程序的優(yōu)先抓取要保證服務(wù)器速度、頁(yè)面路徑盡量簡(jiǎn)短，縮小抓取深度，也可以用百度站長(zhǎng)平臺(tái)提交網(wǎng)址來(lái)加快蜘蛛抓取。注意：不希望被蜘蛛抓取的內(nèi)容要做好robots協(xié)議。

二、.過(guò)濾：

搜索引擎抓取頁(yè)面后會(huì)對(duì)所有內(nèi)容進(jìn)行過(guò)濾，以下內(nèi)容會(huì)被過(guò)濾掉：

1、無(wú)價(jià)值頁(yè)面、匹配度及相關(guān)度不高的頁(yè)面都會(huì)被過(guò)濾掉；

2、死鏈接：隨意刪除文章后形成的死鏈接、隨便更換網(wǎng)站路徑形成的打不開(kāi)的頁(yè)面；

3、欺騙頁(yè)面：文不對(duì)題的頁(yè)面；

4、關(guān)鍵詞堆砌的頁(yè)面；

5、垃圾外鏈。

三、收錄：

一定要確保網(wǎng)頁(yè)內(nèi)容能被蜘蛛識(shí)別，才能利于收錄，有收錄才有排名，收錄是保證排名的前提；有收錄并不一定有排名。

1、文字：文字是排名主題；

2、圖片：蜘蛛不能識(shí)別圖片，要添加ALT屬性，單只加ALT屬性也不利于排名，文字太少，不專業(yè)。圖片始終是輔助作用，一定要圖文結(jié)合，文字很少時(shí)要加一些識(shí)別度高的關(guān)鍵詞，切記：文字才是排名的主題；

3、Flash：蜘蛛不能識(shí)別視頻播放器和動(dòng)畫(huà)，一個(gè)網(wǎng)頁(yè)最多放1~2個(gè)視頻，必須放視頻簡(jiǎn)介和評(píng)論，放蜘蛛不識(shí)別的內(nèi)容的時(shí)候，文字必須是主體；

4、JS：腳本特效，雖然炫酷，，但是蜘蛛不能識(shí)別。如：百度商橋、懸浮窗、對(duì)聯(lián)廣告等，新站不能放廣告，有垃圾網(wǎng)站嫌疑，會(huì)延后排名。

四、排序：

蜘蛛執(zhí)行完以上步聚即開(kāi)始排序，要想有好的排名必須嚴(yán)格符合以上幾條原則并靈活運(yùn)用。 收錄和排序的關(guān)系是包含關(guān)系，先收錄才可以排序，即建立索引，收錄量大于是索引量的。