seoER常常體現(xiàn)那樣一個問題:有一些高質(zhì)量網(wǎng)頁頁面,客戶還可以正常的訪問,但搜索引擎蜘蛛不可以正常的訪問和抓取。在這兒,海南省互聯(lián)網(wǎng)推廣網(wǎng)站的提升就是說,這類提升狀況會導致百度搜索普及率的不夠,這也是對搜索引擎和網(wǎng)站的損害。百度搜索稱這樣的事情為“占領除外”。
很多具體內(nèi)容被搜索引擎蜘蛛出現(xiàn)異常抓取。百度搜索搜索引擎會以為該網(wǎng)站在客戶體驗上存有缺點,減少對網(wǎng)站的點評。從抓取、標引、排列等層面來了解,都是會遭受一定程度的不良影響,終究會危害網(wǎng)站從百度搜索得到的總流量。
服務器連接出現(xiàn)異常有2種狀況:一是網(wǎng)站不穩(wěn)定,搜索引擎蜘蛛在試著聯(lián)接時臨時無法連接到您網(wǎng)站的網(wǎng)絡服務器;二是搜索引擎蜘蛛早已無法連接到您網(wǎng)站的網(wǎng)絡服務器。
服務器連接出現(xiàn)異常的緣故一般是您網(wǎng)站網(wǎng)絡服務器運作太大和負載。您網(wǎng)站也有可能運作異常。請檢查網(wǎng)站的web服務器(如Apache、IIS)是否正常組裝和運作,并使用瀏覽器查驗主頁面能否正常的訪問。您網(wǎng)站和服務器也可能阻攔搜索引擎蜘蛛的訪問。你必須查驗網(wǎng)站和服務器的服務器防火墻。
營運商分成電信和聯(lián)通。搜索引擎蜘蛛沒法根據(jù)電信網(wǎng)或網(wǎng)通電信訪問您網(wǎng)站。要是產(chǎn)生這樣的事情,您必須聯(lián)絡互聯(lián)網(wǎng)服務供應商,或購買服務器與二線服務項目或CDN服務。
當搜索引擎蜘蛛無法解析您網(wǎng)站的IP地址時,將發(fā)生DNS出現(xiàn)異常。也許你的網(wǎng)站IP地址錯誤,或是域名服務器服務提供商嚴禁了搜索引擎蜘蛛。請使用whois或host查驗您網(wǎng)站的IP地址是否正確和可分析。要是沒有,請聯(lián)系域名服務商升級您IP地址。
怎樣解決搜索引擎蜘蛛抓取出現(xiàn)異常?防止搜索引擎抓取出現(xiàn)異常的方法
IP堵塞:限制網(wǎng)絡的導出來IP地址,嚴禁該IP段的客戶訪問具體內(nèi)容。這兒,它實際是指搜索引擎蜘蛛IP的堵塞。僅當您不希望搜索引擎蜘蛛訪問您網(wǎng)站時,才必須此設定。如果您期待搜索引擎蜘蛛訪問您網(wǎng)站,請檢查是不是在有關設置中不正確添加了搜索引擎蜘蛛的IP地址。你網(wǎng)站所屬的區(qū)域服務供應商也有可能嚴禁百度搜索IP。這時,您必須聯(lián)絡服務供應商以變更設定。
UA是客戶代理商。網(wǎng)絡服務器根據(jù)UA鑒別訪問者的真實身份。當一個網(wǎng)站訪問一個選定的UA并回到一個出現(xiàn)異常網(wǎng)頁頁面(如403500)或自動跳轉(zhuǎn)到另一個網(wǎng)頁頁面時,稱之為UA堵塞。只要當您不希望搜索引擎蜘蛛訪問您網(wǎng)站時,才必須此設定。如果您期待搜索引擎蜘蛛訪問您網(wǎng)站,您是不是在客戶代理商的有關設置中有搜索引擎蜘蛛UA并立即對它進行改動。
網(wǎng)頁頁面失效,不能向使用者給予一切有使用價值信息內(nèi)容的網(wǎng)頁頁面為死鏈接,包含協(xié)議書死鏈和具體內(nèi)容死鏈。
網(wǎng)頁頁面的TCP protocol status/HTTP protocol status清楚地表明死鏈,如404、403、503等。
具體內(nèi)容死鏈:缺少對象的情況是正常的,但具體內(nèi)容已被更改成不存在的、已被刪掉或需要權限的信息內(nèi)容頁,與初始具體內(nèi)容不相干。
針對死鏈,大家提議網(wǎng)站使用協(xié)議死鏈,根據(jù)百度站長工具死鏈專用工具遞交給百度搜索,那樣百度搜索能夠迅速地尋找死鏈,降低死鏈對客戶和搜索引擎的不良影響。