我們在優(yōu)化網(wǎng)站時，有很多設(shè)置是不利于蜘蛛抓取的，具體有哪些呢?下面小編為大家總結(jié)的一些設(shè)置方法，僅供參考：

登錄設(shè)置

有些網(wǎng)站會設(shè)置注冊賬號的服務(wù)，登錄之后才能看到網(wǎng)站的內(nèi)容，這種設(shè)置對于蜘蛛來說不友好，蜘蛛它也不會注冊登錄，自然就抓取不到了。

動態(tài)URL

所謂動態(tài)URL就是在鏈接中“?”同時以aspx、asp、jsp、perl、php、cgi為后綴的url，便是動態(tài)URL，動態(tài)URL的變動性較大，不如靜態(tài)URL穩(wěn)定，搜索引擎一般對動態(tài)URL不夠信任，從而使很多動態(tài)URL的網(wǎng)頁不能被收錄。

使用Cookies

Cookies的作用是識別用戶的身份，Cookies如果未開啟，則無法進行訪問，這樣會導致蜘蛛無法訪問，從而影響抓取。

網(wǎng)站跳轉(zhuǎn)

有些網(wǎng)站打開之后就會自動跳轉(zhuǎn)到其他的頁面，跳轉(zhuǎn)會增加網(wǎng)站加載的時間，不推薦大家這樣做，只做301跳轉(zhuǎn)就可以了，301跳轉(zhuǎn)可以進行權(quán)重的集中，其他類型的調(diào)整不建議做。

Flash文件

有些網(wǎng)站設(shè)計一些Flash文件，為瀏覽用戶帶來很好的視覺效果，但可惜搜索引擎看不到，無法讀取任何內(nèi)容所以為了能體現(xiàn)網(wǎng)站優(yōu)化的最好效果，不提倡這種Flash做首頁圖片。

以上幾方面的設(shè)置，都可能直接或者間接性的影響蜘蛛爬行速度和抓取量，所以是需要各位站長們注意的，內(nèi)容僅供參考，如需補充請在線留言。