當(dāng)您面對(duì)大型網(wǎng)站可能遇到的上千個(gè)潛在問(wèn)題時(shí)，您從哪里開(kāi)始解決，這是我們?cè)谥亟ňW(wǎng)站抓取時(shí)嘗試解決的問(wèn)題。 答案幾乎完全取決于您的網(wǎng)站，并且可能需要對(duì)其歷史和目標(biāo)的深入了解。
簡(jiǎn)單的操作有時(shí)是危險(xiǎn)的，為什么?
以前，我們?cè)噲D將網(wǎng)站初期的每個(gè)問(wèn)題標(biāo)記為高，中，低優(yōu)先級(jí)。 這種簡(jiǎn)單的方法可能是有用的，但我們發(fā)現(xiàn)不能這樣做，你可能會(huì)想知道為什么我們離開(kāi)它。
首先，網(wǎng)站優(yōu)化要素優(yōu)先次序取決于您的意圖。 如果搜索引擎在進(jìn)行網(wǎng)站抓取的時(shí)候，誤解你的意圖可能會(huì)導(dǎo)致不好的結(jié)果，從混亂到徹底的災(zāi)難性的。 比方說(shuō)，我們?cè)贛oz上聘請(qǐng)了全新的seoER，發(fā)現(xiàn)網(wǎng)站存在以下問(wèn)題：
一、網(wǎng)站同時(shí)存在幾乎35,000個(gè)NOINDEX標(biāo)簽
如果采用搜索引擎優(yōu)化工具趕緊刪除這些標(biāo)簽，那么網(wǎng)站本身會(huì)受到很大的傷害，而不是意識(shí)到絕大多數(shù)這些指令是有意的。 我們可以讓我們的系統(tǒng)更聰明，但是他們看不懂，所以我們要對(duì)虛警報(bào)警謹(jǐn)慎。
二、其次，優(yōu)先考慮的問(wèn)題并不能幫助您了解這些問(wèn)題的性質(zhì)或如何解決這些問(wèn)題。 我們現(xiàn)在將網(wǎng)站抓取問(wèn)題分為四種描述類(lèi)型之一：
歷史數(shù)據(jù)問(wèn)題
重定向問(wèn)題
元數(shù)據(jù)問(wèn)題
內(nèi)容問(wèn)題
三、按類(lèi)型進(jìn)行分類(lèi)可以讓您更具seo技術(shù)。 例如，我們新的“重定向”類(lèi)別中的問(wèn)題將會(huì)有更多的共同點(diǎn)，這意味著它們可能有共同的修復(fù)。 最終幫助您找到問(wèn)題只是第一步。 我們希望能夠更好地幫助您解決問(wèn)題。
1.從嚴(yán)重的爬蟲(chóng)問(wèn)題開(kāi)始
這不是說(shuō)一切都是主觀的。 一些問(wèn)題阻止抓取工具(不僅僅是我們的，而是搜索引擎)到達(dá)你的頁(yè)面。 我們將這些“關(guān)鍵爬蟲(chóng)問(wèn)題”分組到我們的第一類(lèi)，目前包括5XX錯(cuò)誤，4XX錯(cuò)誤和重定向到4XX。 如果您在5XX錯(cuò)誤中突然上升，您需要知道，幾乎沒(méi)有人有意將其重定向到404。
您會(huì)看到整個(gè)網(wǎng)站抓取界面中突出顯示嚴(yán)重的爬網(wǎng)程序問(wèn)題：
尋找紅色的警報(bào)圖標(biāo)來(lái)快速找到關(guān)鍵問(wèn)題。 首先解決這些問(wèn)題。 如果無(wú)法抓取頁(yè)面，那么每個(gè)其他抓取工具的問(wèn)題都是無(wú)法解決的,對(duì)seo是極為不好的。
2.平衡流行率的問(wèn)題
在解決您的技術(shù)性SEO問(wèn)題時(shí)，我們還必須平衡嚴(yán)重性與數(shù)量。 不了解你的網(wǎng)站，我會(huì)說(shuō)404錯(cuò)誤可能值得在重復(fù)的內(nèi)容之前解決 - 但是如果你有十一個(gè)404和17,843個(gè)重復(fù)的頁(yè)面呢 你的優(yōu)先事項(xiàng)突然看起來(lái)很不一樣。
我們已經(jīng)為你做了一些seo數(shù)據(jù)分析，通過(guò)問(wèn)題的普遍程度來(lái)加重緊迫性。 這需要對(duì)優(yōu)先級(jí)的一些假設(shè)，但如果您的時(shí)間有限，我們希望至少為您提供解決幾個(gè)關(guān)鍵問(wèn)題的快速起點(diǎn)。
3.解決多頁(yè)問(wèn)題
解決高額問(wèn)題的另一個(gè)優(yōu)點(diǎn)是。 在許多情況下，您可以通過(guò)一次修復(fù)來(lái)解決數(shù)百個(gè)(甚至數(shù)千個(gè))頁(yè)面上的問(wèn)題。 這是一個(gè)更加戰(zhàn)術(shù)的方法可以為您節(jié)省大量時(shí)間和金錢(qián)的地方。
比方說(shuō)，我想在Moz.com上挖掘916頁(yè)，缺少元描述。 我馬上注意到，其中一些頁(yè)面是博客文章。 所以，可以通過(guò)URL過(guò)濾解決網(wǎng)站抓取問(wèn)題：
我可以很快看到，這些頁(yè)面占我缺少描述的392個(gè)，高達(dá)43%。 如果我擔(dān)心這個(gè)問(wèn)題，那么可能我可以通過(guò)一個(gè)相當(dāng)簡(jiǎn)單的CMS頁(yè)面解決它，用幾行代碼擦除數(shù)百個(gè)問(wèn)題。
在不久的將來(lái)，我們希望為您做一些這樣的分析，但如果過(guò)濾不能完成此工作，您還可以將任何問(wèn)題列表導(dǎo)出到CSV。 然后，轉(zhuǎn)動(dòng)和過(guò)濾到你的心臟的內(nèi)容。
4.通過(guò)PA和爬行深度潛入頁(yè)面
如果您不能輕易找到明確的模式，或者如果您已經(jīng)解決了一些重大問(wèn)題，那么下一步呢 一次修復(fù)數(shù)千個(gè)問(wèn)題一個(gè)URL只是值得的，如果你知道這些URL很重要。
幸運(yùn)的是，您現(xiàn)在可以按頁(yè)面權(quán)限(PA)和網(wǎng)站抓取中的抓取深度進(jìn)行排序。 PA是我們自己的排名能力的內(nèi)部指標(biāo)(主要由鏈接權(quán)重判斷)，爬網(wǎng)深度是頁(yè)面與主頁(yè)的距離：
在這里，我可以看到我們的MozBar網(wǎng)址中有一個(gè)重定向鏈，這是一個(gè)非常高權(quán)限的頁(yè)面。 這可能是一個(gè)值得修復(fù)的問(wèn)題，即使它不是一個(gè)明顯的，更大的組織的一部分。
5.注意網(wǎng)站抓取中出現(xiàn)的突發(fā)問(wèn)題。
最后，隨著時(shí)間的推移，您還需要注意新問(wèn)題，特別是如果網(wǎng)站抓取問(wèn)題同一時(shí)間大量出現(xiàn)的情況。 這可能表明突然和潛在的破壞性變化。 網(wǎng)站抓取現(xiàn)在可以輕松跟蹤新問(wèn)題，包括警報(bào)圖標(biāo)，圖表和按類(lèi)別的新問(wèn)題的快速摘要：
任何爬網(wǎng)都會(huì)發(fā)現(xiàn)一些新的頁(yè)面(內(nèi)容機(jī)器永遠(yuǎn)不會(huì)休息)，但是如果您突然看到數(shù)以百計(jì)的單一類(lèi)型的新問(wèn)題，重要的是迅速挖掘，確定沒(méi)有任何問(wèn)題。 在一個(gè)完美的世界中，SEO團(tuán)隊(duì)總是會(huì)知道其他人和團(tuán)隊(duì)對(duì)網(wǎng)站的改變，但我們都知道這不是一個(gè)完美的世界。
