抓取頻次是百度搜索引擎下的一個百度蜘蛛程序,是用來按天抓取網(wǎng)站的優(yōu)質(zhì)頁面和內(nèi)容,圖片等,使用戶能在搜索引擎里快速找到你網(wǎng)站的內(nèi)容,那么百度蜘蛛究竟是怎么抓取的呢,是什么樣的頻率抓取呢,接下來咱們就來了解。
什么是抓取頻次
抓取頻次是搜索引擎在單位時間內(nèi)(天級)對網(wǎng)站服務(wù)器抓取的總次數(shù),如果搜索引擎對站點的抓取頻次過高,很有可能造成服務(wù)器不穩(wěn)定,Baiduspider會根據(jù)網(wǎng)站內(nèi)容更新頻率和服務(wù)器壓力等因素自動調(diào)整抓取頻次。
什么情況下可以進行抓取頻次上限調(diào)整
首先,Baiduspider會根據(jù)網(wǎng)站服務(wù)器壓力自動進行抓取頻次調(diào)整。其次,如果Baiduspider的抓取影響了網(wǎng)站穩(wěn)定性,站長可以通過此工具調(diào)節(jié)Baiduspider每天抓取您網(wǎng)站的頻次上限。
強調(diào)1:調(diào)整抓取頻次上限不等于調(diào)高抓取頻次。強調(diào)2:建議您慎重調(diào)節(jié)抓取頻次上限值,如果抓取頻次過小則會影響B(tài)aiduspider對網(wǎng)站的收錄。
當(dāng)前抓取頻次過大怎么辦?
您可以按照如下方法依次進行排查及解決頻次過大問題:
1、如果您覺得Baiduspider抓取了您認為的無價值鏈接,請更新網(wǎng)站robots.txt進行屏蔽抓取,然后到robots工具頁面操作生效。
2、如果Baiduspider的抓取影響了您網(wǎng)站的正常訪問,請到抓取頻次上限調(diào)整頁面進行抓取頻次上限下調(diào)。
3、若以上方法均不能解決問題,請到百度站長平臺反饋中心反饋。
當(dāng)前抓取頻次過小怎么辦?
您可以按照如下方法依次進行排查及解決頻次過小問題:
1、若您已設(shè)置了抓取頻次上限,建議您先取消抓取頻次上限設(shè)置或到抓取頻次上限調(diào)整頁面上調(diào)抓取頻次上限。
2、若您未設(shè)置抓取頻次上限,建議先使用抓取異常工具查看是否為抓取異常導(dǎo)致。
3、若您仍覺得抓取量較小,可能是您有新鏈接未提交,請到鏈接提交頁面進行數(shù)據(jù)提交。
4、若以上方法均不能解決問題,請到百度站長平臺反饋中心反饋。