有幾個(gè)原因會(huì)影響爬行器的爬行，并最終影響頁(yè)面輸入的結(jié)果

網(wǎng)站更新狀態(tài)

一般來(lái)說(shuō)，如果網(wǎng)站更新得很快，蜘蛛會(huì)更快地抓取網(wǎng)站的內(nèi)容。如果網(wǎng)站內(nèi)容長(zhǎng)時(shí)間不更新，蜘蛛會(huì)相應(yīng)調(diào)整網(wǎng)站的爬行頻率。更新頻率對(duì)于新聞等網(wǎng)站至關(guān)重要。因此，吸引蜘蛛每天堅(jiān)持一定數(shù)量的更新是非常重要的

網(wǎng)站內(nèi)容質(zhì)量

對(duì)于低質(zhì)量的頁(yè)面，搜索引擎總是受到影響。因此，創(chuàng)造高質(zhì)量的內(nèi)容并吸引蜘蛛是至關(guān)重要的。從這個(gè)角度來(lái)看，“內(nèi)容取勝”是完全正確的。例如，如果網(wǎng)頁(yè)質(zhì)量低，許多人收集相同的內(nèi)容，而網(wǎng)頁(yè)的核心內(nèi)容是空的，那么他們就無(wú)法得到蜘蛛的喜愛。網(wǎng)站是否可以正常訪問(wèn)？網(wǎng)站能否正常訪問(wèn)是搜索引擎的連通性問(wèn)題。連接要求不應(yīng)頻繁訪問(wèn)網(wǎng)站。可能訪問(wèn)速度很慢。從蜘蛛的角度來(lái)看，可以提供給搜索客戶的網(wǎng)頁(yè)應(yīng)該是可以正常訪問(wèn)的網(wǎng)頁(yè)。對(duì)于響應(yīng)緩慢或經(jīng)常崩潰的服務(wù)器，相關(guān)網(wǎng)站必須具有負(fù)面形象。嚴(yán)重的是逐步減少爬行，甚至刪除已經(jīng)輸入的頁(yè)面

在實(shí)踐中，由于國(guó)內(nèi)服務(wù)器的服務(wù)相對(duì)昂貴，此外，根據(jù)監(jiān)管要求，國(guó)內(nèi)網(wǎng)站的建立需要有備案標(biāo)準(zhǔn)，并經(jīng)歷在線上傳備案信息的過(guò)程。一些中小型網(wǎng)站的站長(zhǎng)可能會(huì)租用外國(guó)服務(wù)器，如GoDaddy（一家提供域名注冊(cè)和互聯(lián)網(wǎng)主機(jī)服務(wù)的美國(guó)公司）。然而，從國(guó)內(nèi)訪問(wèn)外國(guó)服務(wù)器的原因是它們之間的距離很長(zhǎng)。訪問(wèn)速度慢或無(wú)法防止崩潰。長(zhǎng)期以來(lái)，這是對(duì)網(wǎng)站SEO功能的限制。如果你想謹(jǐn)慎運(yùn)營(yíng)一個(gè)網(wǎng)站，你仍然應(yīng)該嘗試使用國(guó)內(nèi)服務(wù)器為你服務(wù)。您可以選擇一些服務(wù)更好、界面友好的服務(wù)器供應(yīng)商。當(dāng)時(shí)，許多公司推出的云服務(wù)器都是不錯(cuò)的選擇，此外，搜索引擎會(huì)根據(jù)網(wǎng)站的歸納和反映對(duì)網(wǎng)站進(jìn)行評(píng)級(jí)。該額定值不能完全等于重量。然而，評(píng)級(jí)的不均勻?qū)⒂绊?strong>蜘蛛對(duì)網(wǎng)站的爬行策略

在爬行頻率方面，搜索引擎通常提供可以調(diào)整爬行頻率設(shè)置的東西，SEO人員可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。對(duì)于服務(wù)請(qǐng)求較多的大型網(wǎng)站，我們可以通過(guò)調(diào)整頻率來(lái)減輕對(duì)網(wǎng)站的壓力

在實(shí)際爬行過(guò)程中，如果遇到無(wú)法訪問(wèn)的異常爬行情況，將導(dǎo)致網(wǎng)站搜索引擎的評(píng)級(jí)大幅下降，這將相應(yīng)影響爬行等一系列SEO功能，索引、排序并最終反映流量的損失

異常爬行的原因有很多。例如，服務(wù)器不穩(wěn)定，服務(wù)器總是過(guò)載，協(xié)議可能出現(xiàn)故障。因此，要求網(wǎng)站運(yùn)維人員密切關(guān)注網(wǎng)站的運(yùn)行情況，確保網(wǎng)站的穩(wěn)定運(yùn)行。在協(xié)議設(shè)備上，需要防止一些主要故障，如機(jī)器人的不允許設(shè)置故障。有一次，一位公司經(jīng)理咨詢SEO人員，問(wèn)他們?cè)谖型獠块_發(fā)人員做好網(wǎng)站后，為什么在搜索引擎中找不到它。SEO人員直接在URL和地址欄中輸入其網(wǎng)站機(jī)器人的地址，他們驚訝地發(fā)現(xiàn)蜘蛛爬行（不允許指令）在

內(nèi)停止；還有其他可能無(wú)法訪問(wèn)網(wǎng)站。例如，網(wǎng)絡(luò)運(yùn)營(yíng)商是不正常的，即蜘蛛無(wú)法通過(guò)電信或網(wǎng)通同等的勞動(dòng)力供應(yīng)商訪問(wèn)網(wǎng)站；DNS異常，即蜘蛛無(wú)法正常解析網(wǎng)站IP。可能是地址錯(cuò)誤或域名業(yè)務(wù)被阻止。在這種情況下，您需要聯(lián)系域名業(yè)務(wù)。也可能有一個(gè)死鏈的網(wǎng)頁(yè)。例如，在那個(gè)時(shí)候，頁(yè)面已經(jīng)失效或出錯(cuò)。可能某些網(wǎng)頁(yè)已批量脫機(jī)。在這種情況下，最好的方法是提交死鏈解釋；如果由于URL更改而無(wú)法訪問(wèn)舊URL，請(qǐng)?jiān)O(shè)置301jump以將舊URL和相關(guān)權(quán)重轉(zhuǎn)換到新頁(yè)面。當(dāng)然，搜索引擎本身可能會(huì)過(guò)載并被暫時(shí)阻止

對(duì)于已捕獲的數(shù)據(jù)，下一步是為爬行器構(gòu)建數(shù)據(jù)庫(kù)。在這個(gè)鏈接中，搜索引擎會(huì)根據(jù)一些標(biāo)準(zhǔn)來(lái)判斷鏈接的重要性。一般來(lái)說(shuō)，判斷標(biāo)準(zhǔn)如下：內(nèi)容是否原創(chuàng)；如果是，將對(duì)其進(jìn)行加權(quán)；主要內(nèi)容是否明顯，即核心內(nèi)容是否突出。如果是，將對(duì)其進(jìn)行加權(quán)；內(nèi)容是否豐富。如果內(nèi)容非常豐富，將對(duì)其進(jìn)行加權(quán)；用戶體驗(yàn)是否良好，例如，頁(yè)面相對(duì)循環(huán)，廣告負(fù)載較少等。如果是這樣，它將獲得權(quán)重等。因此，我們需要在網(wǎng)站的日常運(yùn)營(yíng)中遵守以下準(zhǔn)則

（1）不要復(fù)制。因?yàn)橥ㄓ脙?nèi)容受到所有搜索引擎公司的喜愛，互聯(lián)網(wǎng)鼓勵(lì)創(chuàng)意。許多互聯(lián)網(wǎng)公司希望通過(guò)大量的網(wǎng)絡(luò)內(nèi)容收集來(lái)整理他們的網(wǎng)站。從SEO的角度來(lái)看，這實(shí)際上是不良行為

（2）在規(guī)劃網(wǎng)站內(nèi)容時(shí)，我們應(yīng)該堅(jiān)持主題內(nèi)容突出，也就是說(shuō)，我們應(yīng)該讓搜索引擎爬行了解網(wǎng)頁(yè)的內(nèi)容，而不是在一堆內(nèi)容中判斷網(wǎng)站在做什么。主題并不突出。在許多無(wú)序運(yùn)營(yíng)的網(wǎng)站中都有典型的例子。例如，在一些新穎的網(wǎng)站中，一個(gè)800字的章節(jié)分為8頁(yè)，每頁(yè)約100字，而其他本地頁(yè)面則是各種廣告和無(wú)關(guān)內(nèi)容信息。在其他網(wǎng)站中，主要內(nèi)容是框架結(jié)構(gòu)或aiax結(jié)構(gòu)，蜘蛛能爬到的信息是無(wú)關(guān)內(nèi)容。（3）豐富的內(nèi)容意味著內(nèi)容信息量大，表現(xiàn)形式多樣。廣告宜少嵌入廣告，不要打開頁(yè)面全屏全是五顏六色的廣告。由于廣告加載時(shí)間是在頁(yè)面的整個(gè)加載時(shí)間內(nèi)計(jì)算的，如果廣告加載時(shí)間過(guò)長(zhǎng)，則頁(yè)面無(wú)法完全加載，頁(yè)面將變空變短。綜上所述，關(guān)于眾多廣告對(duì)用戶體驗(yàn)的影響，百度于2013年5月17日發(fā)布公告，稱推出了針對(duì)低質(zhì)量網(wǎng)頁(yè)的“石榴算法”，旨在沖擊那些含有大量不良廣告、阻礙用戶正常閱讀的網(wǎng)頁(yè)，尤其是頁(yè)面中存在大量低質(zhì)量廣告和頁(yè)面主要內(nèi)容混雜的浪費(fèi)廣告。現(xiàn)在一些大型門戶網(wǎng)站從收入的角度來(lái)看仍然掛著很多廣告。作為SEO人員，他們需要考慮這個(gè)問(wèn)題（4）堅(jiān)持web內(nèi)容的可訪問(wèn)性。有些網(wǎng)頁(yè)承載大量?jī)?nèi)容，但它們是通過(guò)使用JS、Ajax和其他方法顯示的，這是搜索引擎無(wú)法識(shí)別的。這樣，網(wǎng)頁(yè)的內(nèi)容是空的和短的，網(wǎng)頁(yè)的評(píng)級(jí)大大降低了

此外，就鏈接的重要性而言，有兩個(gè)重要的標(biāo)準(zhǔn)：從目錄級(jí)別上，堅(jiān)持淺優(yōu)先級(jí)標(biāo)準(zhǔn)；從內(nèi)鏈規(guī)劃的角度來(lái)看，堅(jiān)持“熱門頁(yè)面優(yōu)先”的原則

所謂淺優(yōu)先級(jí)是指當(dāng)搜索引擎處理新鏈接并判斷鏈接的重要性時(shí)，它會(huì)優(yōu)先考慮URL更多的頁(yè)面，即從URL排列上看頁(yè)面更接近主頁(yè)域名。因此，當(dāng)SEO正在做重要的頁(yè)面優(yōu)化時(shí)，我們必須注意扁平化標(biāo)準(zhǔn)，并盡量縮短URL的中間鏈接

優(yōu)先級(jí)已經(jīng)很淺，能否將所有頁(yè)面平鋪到網(wǎng)站的根目錄，然后選擇SEO功能？一定不能這樣。首先，優(yōu)先權(quán)是一個(gè)相對(duì)的概念。如果您將所有內(nèi)容都放在根目錄下，這并不重要。重要內(nèi)容和不重要內(nèi)容沒(méi)有區(qū)別。此外，從SEO的角度，URL爬行也被用來(lái)分析網(wǎng)站的結(jié)構(gòu)。在URL組成之后，大致確定內(nèi)容的分組。SEO人員可以通過(guò)URL的組合完成關(guān)鍵字和關(guān)鍵字頁(yè)面的排列。