自己并不是大神，很多東西全是依靠自己平常累積，學(xué)習(xí)培訓(xùn)，然后匯總下來的?，F(xiàn)在和大家一起分享一下robots協(xié)議的寫法。文中將由robots協(xié)議的一般寫法到深層次寫法的討論，強(qiáng)調(diào)不一樣寫法的不同功效。
一、什么是robots協(xié)議

robots協(xié)議全稱之為“爬蟲技術(shù)清除規(guī)范”，英語名叫“Robots Exclusion Protocol”。robots協(xié)議能夠簡(jiǎn)易了解為網(wǎng)站站長(zhǎng)和搜索引擎的一個(gè)簡(jiǎn)單謙謙君子協(xié)議。網(wǎng)站站長(zhǎng)能通過設(shè)定robots協(xié)議來告之搜索引擎說什么網(wǎng)頁頁面能夠?yàn)g覽，什么網(wǎng)頁頁面不能瀏覽。這種謙謙君子協(xié)議對(duì)彼此都是有益處，針對(duì)搜索引擎而言，當(dāng)她進(jìn)入了你們的網(wǎng)站，它能夠迅速發(fā)覺哪些東西能夠收錄，什么不能，那樣能合理節(jié)約搜索引擎的工作效率，對(duì)大家網(wǎng)站站長(zhǎng)而言，不僅僅對(duì)大家做提升有利，并且能具有維護(hù)網(wǎng)站個(gè)人隱私作用。

為什么這么說，下邊舉好多個(gè)簡(jiǎn)單事例：
1.一些途徑中有可能是網(wǎng)站上客戶的私人信息，不愿被搜索引擎爬取，例如facebook上一些客戶的秘密基本資料/
2.如果我們網(wǎng)站存有一些死鏈接，我們可以通過robots協(xié)議將死鏈接屏蔽掉
3.假如一些網(wǎng)站站長(zhǎng)用的是公共的云虛擬主機(jī)，總流量比較有限或是室內(nèi)空間非常小，能夠節(jié)約網(wǎng)絡(luò)帶寬和網(wǎng)站網(wǎng)站打開速度.
4.有些網(wǎng)站甚者是合理屏蔽掉某一搜索引擎，不太想被他爬取，這種網(wǎng)站較知名的便是以前淘寶網(wǎng)

二、robots.txt函數(shù)釋意

普遍的robots.txt函數(shù)有“User-agent”“Disallow”“Aallow”：
1.User-agent：表明容許搜索引擎的真實(shí)身份，User-agent后綴名不一樣則表明容許瀏覽的搜索引擎有不一樣。比如：User-agent：Baiduspider表示容許百度爬蟲，User-agent：Googlebot表示容許Google網(wǎng)絡(luò)爬蟲，User-agent: *則表明容許每一個(gè)搜索引擎。
2.Disallow：表明禁止訪問的具體內(nèi)容。比如：Disallow: /表明網(wǎng)站嚴(yán)禁爬取瀏覽； Disallow:則表明都容許收錄；Disallow: /news/表明news這一文件夾名稱的具體內(nèi)容禁止訪問；Disallow: /XXX.html表示XXX.html這一網(wǎng)站嚴(yán)禁收錄；Disallow: /*.jpg$表明嚴(yán)禁爬取jpg格式的照片，其他類型的圖片的格式依此類推。

3.Aallow：表明容許瀏覽的具體內(nèi)容，與此同時(shí)Disallow和Aallow一起應(yīng)用，還可以具有一部分嚴(yán)禁收錄，一部分容許收錄的功效。比如：news1-50中只有news49容許收錄，其余的網(wǎng)頁頁面全是嚴(yán)禁收錄的能夠這樣寫：Disallow：/news Allow:/news49/

三、小白級(jí)robots協(xié)議寫法

小白級(jí)的寫法一般適用剛觸碰seo那樣領(lǐng)域或者框架剪力墻簡(jiǎn)單本人網(wǎng)站或公司網(wǎng)站。一般這類網(wǎng)站只必須在網(wǎng)站并沒有什么不容許收錄的具體內(nèi)容，并且容許每一個(gè)搜索引擎收錄，此外為了能便捷搜索引擎收錄，還能夠添加sitemap。以我的網(wǎng)站站舉例說明，可以用寫法如下所示：
User-agent:
Disallow: )
Sitemap: http://網(wǎng)站/sitemap.xml （谷歌sitemap寫法）
Sitemap: http://網(wǎng)站/sitemap.html（百度sitemap寫法）
只需當(dāng)?shù)亟⒁粋€(gè)robots.txt的文檔，并把之上代碼復(fù)制、改動(dòng)網(wǎng)站網(wǎng)站域名并黏貼在robots.txt文件中，并上傳入網(wǎng)站網(wǎng)站根目錄就可以。前提條件是你的網(wǎng)站網(wǎng)站根目錄已經(jīng)有了sitemap.html、sitemap.xml 文檔。也有更方便的作法，能直接在“百度站長(zhǎng)工具”里的“代碼轉(zhuǎn)換專用工具”尋找“robots.txt形成”，隨后自己設(shè)置網(wǎng)站的主要參數(shù)，遞交就可以。

四、大神級(jí)robots協(xié)議寫法

大神級(jí)的robots寫法通常是能妙用“Disallow”及“Aallow”函數(shù)公式，使網(wǎng)站收錄被收錄的信息構(gòu)造更有效，也使搜索引擎爬取抓取的過程中構(gòu)思更清晰。下邊我們看看百度搜索跟Google的robots協(xié)議是怎么寫的：
User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?.
Disallow: /link?

User-agent: Googlebo
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro. G)
Disallow: /ulink?
Disallow: /link?

由里面的事例可知道，百度搜索屏蔽掉Google，Google屏蔽掉百度搜索，Google和百度搜索的搜索引擎收錄的主要內(nèi)容全是不分享的，也恰好說明了為什么百度跟Google收錄大家網(wǎng)站的具體內(nèi)容跟外部鏈接數(shù)會(huì)不一樣。搜索引擎和Google通常是進(jìn)行了彼此之間競(jìng)爭(zhēng)者的屏蔽掉，那對(duì)大家網(wǎng)站站長(zhǎng)而言，必須屏蔽掉的網(wǎng)站文件目錄有什么？
1、照片文件目錄
現(xiàn)在網(wǎng)絡(luò)上很多CMS的發(fā)生，對(duì)那些很多單一化模版網(wǎng)站，被多次采用，不一樣的網(wǎng)站一樣的結(jié)構(gòu)又不斷被搜索引擎收錄。這種網(wǎng)站搜索引擎是一定是不容易喜歡的，就算是你網(wǎng)站被收錄了，那你網(wǎng)站權(quán)重值還會(huì)累點(diǎn)危害的。針對(duì)這樣的事情，不錯(cuò)是把網(wǎng)站網(wǎng)站根目錄的imags或是img文件目錄屏蔽。
2、死鏈接網(wǎng)頁頁面屏蔽掉
一個(gè)網(wǎng)站里的死鏈接太多，對(duì)網(wǎng)站seo推廣而言，無疑是致命性的。不僅僅客戶體驗(yàn)會(huì)危害，并且太多死鏈接還會(huì)使網(wǎng)站排行，權(quán)重值降低。針對(duì)死鏈接的發(fā)生，基本的作法是做404網(wǎng)頁頁面，不過還可以根據(jù)Robots協(xié)議將其開展屏蔽掉。只需尋找發(fā)生死鏈接的網(wǎng)頁頁面，隨后設(shè)成Disallow: /XXX.html的文件格式就可以了。
3、CSS、JS文件目錄的屏蔽掉
針對(duì)一個(gè)網(wǎng)站而言，常常是免不了CSS或者JS的運(yùn)用，針對(duì)這種CSS或者JS也沒法對(duì)搜索引擎給予有價(jià)值的信息內(nèi)容。因此AJ強(qiáng)烈要求諸位網(wǎng)站站長(zhǎng)運(yùn)用Robots協(xié)議將其開展屏蔽掉，以提升搜索引擎的檢索品質(zhì)，與此同時(shí)更提高網(wǎng)站對(duì)搜索引擎網(wǎng)絡(luò)爬蟲的友善性。CSS或者JS一般相匹配網(wǎng)站網(wǎng)站根目錄的CSS或是style文件夾中。
4、雙網(wǎng)頁頁面的具體內(nèi)容屏蔽掉.
什么是雙網(wǎng)頁頁面的信息？雙網(wǎng)頁頁面的內(nèi)容是指同一個(gè)網(wǎng)頁頁面的具體內(nèi)容，卻發(fā)生兩個(gè)不同URL超鏈接的詳細(xì)地址。這種雙網(wǎng)頁頁面的信息發(fā)生，便會(huì)非常容易使搜索引擎誤認(rèn)為網(wǎng)站具體內(nèi)容反復(fù)。比如：DEDECMS的一個(gè)網(wǎng)頁頁面能通過一個(gè)靜態(tài)數(shù)據(jù)URL和動(dòng)態(tài)性URL開展同樣信息的瀏覽。一般這樣的事情，你也就必須將動(dòng)態(tài)性的url的具體內(nèi)容屏蔽就OK了。

把握好robots協(xié)議的寫法，其實(shí)就是掌握了網(wǎng)站基本建設(shè)提升里的重要一環(huán)。做好robots協(xié)議，讓您網(wǎng)站更受搜索引擎的親睞！)