robots文檔的設置是seo優(yōu)化項目重要的一項，不要以為沒有作用，其實它的作用特別多，甚至有時還可以影響到整個網站的排名效果。為了讓大家更好的了解robots文檔，下面跟隨商企云一起來了解一下robots文檔對SEO優(yōu)化的作用。希望以下介紹對大家有所幫助。

一、屏蔽死鏈、空鏈。在robots中設置后搜索引擎蜘蛛就不會去爬行，不然搜索引擎蜘蛛爬行到網站死鏈、空鏈的話會認為你的網站設置有問題，會影響用戶體驗，從而導致搜索引擎給我們差評，留下不好的影響，而robots設置屏蔽就不會有這樣的問題。

二、避免搜索引擎蜘蛛抓取毫無意義的內容，從而導致浪費時間，甚至是爬行到這個毫無意義的內容后就跑了，導致優(yōu)質的文章內容沒有爬行抓取。比如網站中的各種腳本、css樣式文檔等。

三、保護網站部分隱私。不同的網站功能不同，有些網站是以銷售為主的，這類網站是有用戶注冊信息的，這些東西搜索引擎抓取了也沒有意義，反而客戶會覺得自己的信息沒有受到保護，所以在robots中設置一下還是很有必要的。