我們?cè)谂c人交往的時(shí)候，往往會(huì)將自己最好的一面展現(xiàn)給對(duì)方，避免不好的方面給對(duì)方留下不好的印象。同樣，百度為了收錄更多有效的頁(yè)面，而seo人員也為了展示更多有價(jià)值的頁(yè)面，避免百度收錄一些沒(méi)有意義的頁(yè)面，robots文件就誕生了。

　　但是網(wǎng)站的程序是多樣化的，不可能每個(gè)頁(yè)面包括的數(shù)據(jù)庫(kù)都有價(jià)值，所以百度給出了一個(gè)優(yōu)先級(jí)的txt文件，也就是robots.txt文件。這個(gè)robots文件里優(yōu)先存儲(chǔ)的一般都是禁止百度蜘蛛爬行的文件，也就是不希望百度收錄該網(wǎng)站的頁(yè)面。那么如何利用robots.txt文件來(lái)做seo優(yōu)化?

　　1.robots.robots.txt所存放的位置

　　robots.txt文本文件必須存放在站點(diǎn)的根目錄下，也就是需要和首頁(yè)在同級(jí)目錄下。這樣一方面優(yōu)先百度查找并進(jìn)行排除，另一方面使百度蜘蛛沒(méi)有必要去判斷robots.txt文件存放在哪個(gè)目錄下。如果沒(méi)有robots.txt文件，會(huì)使百度蜘蛛爬行所有的網(wǎng)站，然后進(jìn)行收錄等，增加了一些不必要的操作，加大了百度蜘蛛的工作量。

　　2.robots.txt常用語(yǔ)句

　　一般情況下，為了快速建站，會(huì)使用一些網(wǎng)絡(luò)上的開(kāi)源程序，而這些開(kāi)源程序已經(jīng)了解百度蜘蛛的模式，會(huì)默認(rèn)在根目錄下添加robots.txt文件，并且已經(jīng)屏蔽了某些文件夾。

　　3.robots在網(wǎng)站中的展現(xiàn)形式

　　當(dāng)SEO工作者需要在網(wǎng)站中展現(xiàn)robots文件的時(shí)候，可以根據(jù)自己的代碼知識(shí)，或者通過(guò)網(wǎng)站程序員的幫助，進(jìn)行一些必要的代碼添加。

　　一個(gè)優(yōu)秀的網(wǎng)站都會(huì)存在robots文件，這個(gè)文件往往能幫助我們規(guī)避一些不必要的文件被展現(xiàn)出來(lái)。做北京seo最重要的任務(wù)是展現(xiàn)我們的首頁(yè)、欄目頁(yè)及最重要的文章頁(yè)。只有當(dāng)這些頁(yè)面優(yōu)化得足夠好的時(shí)候，我們的網(wǎng)站才是一個(gè)優(yōu)秀的網(wǎng)站。內(nèi)容僅供參考，希望對(duì)您的學(xué)習(xí)有所幫助。