當(dāng)網(wǎng)站內(nèi)容被搜索引擎蜘蛛爬行和捕獲時(shí)，網(wǎng)站捕獲的內(nèi)容將被特殊篩選，稱為索引，主要處理方法包括提取文本、中文單詞、停止單詞、重量、正索引、倒排索引、鏈接關(guān)系計(jì)算等。

一、搜索引擎建立索引庫(kù)的原理

一般來(lái)說(shuō)，搜索引擎捕獲的原始頁(yè)面不直接參與排名和處理，因?yàn)?strong>搜索引擎數(shù)據(jù)庫(kù)中有成千上萬(wàn)的內(nèi)容。輸入關(guān)鍵詞后，我們的用戶需要搜索引擎根據(jù)排名順序逐一分析相關(guān)頁(yè)面，幾秒鐘內(nèi)無(wú)法回復(fù)，因此，搜索引擎通常會(huì)調(diào)查捕獲的頁(yè)面，建立相應(yīng)的索引庫(kù)，為用戶在查詢結(jié)果時(shí)做好準(zhǔn)備。

二、采用提取文字的方法，逐個(gè)排查文字內(nèi)容

目前，搜索引擎主要基于文本內(nèi)容，在蜘蛛抓取網(wǎng)站頁(yè)面html在代碼中，用戶不僅可以在瀏覽器上看到文，還包含了大量的文本html標(biāo)簽、java程序和其他無(wú)法參與排名的相關(guān)內(nèi)容。因此，搜索引擎需要從預(yù)處理開始html刪除文件中的標(biāo)簽和程序，提取可以參與網(wǎng)頁(yè)排名的文本內(nèi)容。

三、利用中文分詞法處理文章段落問題

在我們的中文搜索引擎中，特殊的處理步驟是中文單詞，因?yàn)橹形膯卧~和單詞之間沒有分離符，每個(gè)句子中的所有單詞都連接在一起，我們的搜索引擎需要識(shí)別這些單詞是一個(gè)單詞，這些單詞本身是一個(gè)單詞或句子。其中，中文單詞分割法有兩種方法，一種是詞典匹配法，另一種是統(tǒng)計(jì)法。

詞典匹配法是指將等待分析的文本與事先詞典庫(kù)中現(xiàn)成的條目進(jìn)行匹配，然后在等待分析的漢字中成功掃描條目匹配。

相比之下，統(tǒng)計(jì)方法的優(yōu)點(diǎn)是對(duì)新詞的處理反應(yīng)相對(duì)較快，便于消除每個(gè)詞之間的歧義。事實(shí)上，搜索引擎分詞的方式主要取決于詞庫(kù)的規(guī)模，無(wú)論分詞算法的好壞。seo從業(yè)人員能做的就是在頁(yè)面上用特殊的方式提醒搜索引擎做某個(gè)指令而已，例如，某個(gè)字是否與某個(gè)詞關(guān)聯(lián)或者產(chǎn)生企業(yè)的時(shí)候，我們都可以人工提示搜索引擎。

三、去除停止詞，減少無(wú)關(guān)詞的計(jì)算量

在網(wǎng)站頁(yè)面上，總會(huì)有一些單詞與內(nèi)容無(wú)關(guān)，但頻率很高。例如：啊，，，哈，嘆息詞，但，和其他副詞，以及英語(yǔ)中常見的副詞a、to等等，這些詞實(shí)際上對(duì)頁(yè)面沒有影響，屬于可有可無(wú)的類型，搜索引擎在建立索引庫(kù)時(shí)需要?jiǎng)h除這些停止詞，突出索引數(shù)據(jù)內(nèi)容的主題，減少無(wú)關(guān)詞的調(diào)查。

四、消除噪音，凈化頁(yè)面主題

所謂的網(wǎng)絡(luò)噪聲不是我們常見的噪聲，而是頁(yè)面上對(duì)網(wǎng)站沒有價(jià)值的內(nèi)容。例如，版權(quán)升溫、導(dǎo)航條、廣告等，這些內(nèi)容不僅會(huì)分離主題，而且會(huì)影響網(wǎng)站的主題。因此，搜索引擎需要有意識(shí)地消除不合適的噪聲內(nèi)容，以確保內(nèi)容的清潔度。

五、利用正索引安排網(wǎng)站權(quán)重信息

通過(guò)文字的提取、中文分詞、去噪音等，這時(shí)候搜索一起你已經(jīng)是一個(gè)特里的個(gè)體，可以準(zhǔn)確的反應(yīng)頁(yè)面的主題，按照劃分好的分詞，將頁(yè)面轉(zhuǎn)換為一個(gè)完整的關(guān)鍵詞組合，記錄每一個(gè)關(guān)鍵詞在整個(gè)頁(yè)面上面出現(xiàn)的頻率，然后將這些重要標(biāo)識(shí)信息記錄下來(lái)。

六、用倒排索引排名網(wǎng)站

只有正向索引不能用于網(wǎng)站排名。事實(shí)上，搜索引擎將正向索引數(shù)據(jù)庫(kù)重置并構(gòu)建為倒置索引，然后建立整個(gè)索引庫(kù)。

簡(jiǎn)單地說(shuō)，搜索引擎是一個(gè)需要內(nèi)容處理和建立索引庫(kù)的過(guò)程。只有更多地了解搜索引擎的爬行和捕獲規(guī)則，為用戶做更多的參考內(nèi)容，我們才能做好網(wǎng)站的優(yōu)化。