另一方面，我們網(wǎng)站的內(nèi)容屬于個(gè)人私人文件，不想暴露在搜索引擎中。robot.txt解決這兩個(gè)問(wèn)題。

一、什么是robots.txt?

robots.txt它是網(wǎng)站和搜索引擎協(xié)議的純文本文件。當(dāng)搜索引擎蜘蛛訪(fǎng)問(wèn)網(wǎng)站時(shí)，它首先爬行檢查網(wǎng)站的根目錄是否存在robots.txt，

如果存在，請(qǐng)根據(jù)文件內(nèi)容確定訪(fǎng)問(wèn)范圍。如果沒(méi)有，蜘蛛會(huì)沿著鏈接抓取。robots.txt放在項(xiàng)目根目錄下。

二、robots.txt基本語(yǔ)法：

1)允許所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的所有部分

robots.txt寫(xiě)法如下：

User-agent:*

Disallow:

或者

User-agent:*

Allow:/

注：1.第一個(gè)英語(yǔ)應(yīng)該大寫(xiě)，冒號(hào)是英語(yǔ)狀態(tài)，冒號(hào)后面有一個(gè)空間，這些點(diǎn)不能寫(xiě)錯(cuò)。

2)禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的所有部分

robots.txt寫(xiě)法如下：

User-agent:*

Disallow:/

3)只需禁止蜘蛛訪(fǎng)問(wèn)某個(gè)目錄，如禁止蜘蛛訪(fǎng)問(wèn)某個(gè)目錄admin、css、images索引等目錄

robots.txt寫(xiě)法如下：

User-agent:*

Disallow:/css/

Disallow:/admin/

Disallow:/images/

注:路徑后面有斜杠和沒(méi)有斜杠的區(qū)別:比如Disallow:/images/禁止使用斜杠images整個(gè)文件夾，Disallow:/images沒(méi)有斜杠意味著任何路徑都有/images所有關(guān)鍵詞都會(huì)被屏蔽

4)屏蔽文件夾/templets，但其中一個(gè)文件的寫(xiě)其中一個(gè)文件的寫(xiě)作方法：/templets/main

robots.txt寫(xiě)法如下：

User-agent:*

Disallow:/templets

Allow:/main

5)禁止訪(fǎng)問(wèn)/html/目錄下的所有.php”為后綴的URL(含子目錄)

robots.txt寫(xiě)法如下：

User-agent:*

Disallow:/html/*.php

6)只允許訪(fǎng)問(wèn)某個(gè)目錄下的后綴文件，使用$”

robots.txt寫(xiě)法如下：

User-agent:*

Allow:.html$

Disallow:/

7)禁止索引網(wǎng)站中所有動(dòng)態(tài)頁(yè)面

例如，這里限制的域名是?index.php?id=1

robots.txt寫(xiě)法如下：

User-agent:*

Disallow:/*?*

8)，禁止搜索引擎在我們的網(wǎng)站上捕所有圖片(如果您的網(wǎng)站使用其他后綴的圖片名稱(chēng)，也可以直接添加到這里)

有時(shí)候，為了節(jié)省服務(wù)器資源，我們需要禁止各種搜索引擎在我們的網(wǎng)站上索引圖片除了使用Disallow:/images除了直接屏蔽文件夾外，還可以直接屏蔽圖片后綴名。

robots.txt寫(xiě)法如下：

User-agent:*

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.gif$

Disallow:.png$

Disallow:.bmp$

三、寫(xiě)robots.txt注意：

1)第一個(gè)英語(yǔ)要大寫(xiě)，冒號(hào)在英語(yǔ)狀態(tài)下，冒號(hào)后面有一個(gè)空間，一定不能寫(xiě)錯(cuò)。

2.）、斜杠：/代表整個(gè)網(wǎng)站

3)如果/后面有空間，則屏蔽整個(gè)網(wǎng)站

4)不禁止正常內(nèi)容

5)生效時(shí)間為幾天至兩個(gè)月

四、robots.txt文件對(duì)網(wǎng)站優(yōu)化有什么作用？

1.快速增加網(wǎng)站權(quán)重和訪(fǎng)問(wèn)量；

2.停止某些文件被搜索引擎索引，可以節(jié)省服務(wù)器帶寬和網(wǎng)站訪(fǎng)問(wèn)速度；

3.為搜索引擎提供一個(gè)簡(jiǎn)單明了的索引環(huán)境

五、應(yīng)用哪些網(wǎng)站的目錄需求？robots.txt停止抓取文件？

1)圖像目錄

圖像是網(wǎng)站的主要組成部分。現(xiàn)在建站越來(lái)越方便了，很多cms如果你真的能打字，你就會(huì)建立一個(gè)網(wǎng)站。正是因?yàn)槿绱朔奖悖S多同質(zhì)化模板網(wǎng)站在互聯(lián)網(wǎng)上被重復(fù)使用。這樣的網(wǎng)站搜索引擎一定不喜歡。即使你的網(wǎng)站被輸入，你的角色也很差。如果你必須使用這個(gè)網(wǎng)站，主張你可能在robots.txt屏蔽文件，一般網(wǎng)站圖像目錄如下:imags或許img;

2)網(wǎng)站模板目錄

cms強(qiáng)度和敏感性也導(dǎo)致了許多同質(zhì)化的網(wǎng)站模板的呈現(xiàn)和無(wú)序使用。高度重復(fù)的模板在搜索引擎中形成了冗余，模板文件通常與生成文件高度相似，同樣容易形成相同的內(nèi)容。對(duì)搜索引擎非常不友好，嚴(yán)重的直接被搜索引擎進(jìn)入冷宮，不能翻身，很多cms有獨(dú)立的模板存儲(chǔ)目錄，因此，可能會(huì)屏蔽模板目錄。一般模板目錄的文件目錄為：templets

3)、css、js目錄的屏蔽

css目錄文件在抓取搜索引擎時(shí)沒(méi)有用途，也不能提供有價(jià)值的信息。因此，強(qiáng)烈提倡robots.txt屏蔽文件，提高搜索引擎的索引質(zhì)量。為搜索引擎提供一個(gè)簡(jiǎn)單明了的索引環(huán)境，更容易提升網(wǎng)站的友好性。css款式目錄一般為：css或許style，

js文件無(wú)法在搜索引擎中識(shí)別，這里只提倡屏蔽，這也有一個(gè)優(yōu)點(diǎn)：為搜索引擎提供一個(gè)簡(jiǎn)單明了的索引環(huán)境；

4)屏蔽雙頁(yè)內(nèi)容

這里拿dedecms來(lái)舉例吧。dedecms靜態(tài)和動(dòng)態(tài)可以使用url訪(fǎng)問(wèn)同一內(nèi)容。如果您生成全站靜態(tài)，則需要屏蔽動(dòng)態(tài)地址url連接。

這里有兩個(gè)優(yōu)點(diǎn)：

?①、靜態(tài)搜索引擎url比動(dòng)態(tài)的url輸入更友好、更簡(jiǎn)單；

②、避免靜態(tài)和動(dòng)態(tài)url可以訪(fǎng)問(wèn)同一篇文章，被搜索引擎判定為重復(fù)內(nèi)容。這對(duì)搜索引擎的友誼是有益和無(wú)害的。

5)模板緩存目錄

許多cms程序都有緩存目錄。我不認(rèn)為我們理解這個(gè)緩存目錄的優(yōu)點(diǎn)。它可以非常有用地提高網(wǎng)站的訪(fǎng)問(wèn)速度，減少網(wǎng)站帶寬，這對(duì)用戶(hù)體驗(yàn)也很好。然而，這樣的緩存目錄也有一定的缺陷，也就是說(shuō)，它會(huì)讓搜索引擎重復(fù)抓取，網(wǎng)站內(nèi)容重復(fù)也是一個(gè)大犧牲，對(duì)網(wǎng)站沒(méi)有傷害。許多運(yùn)用cms建站的兄弟沒(méi)有注意到，需要注意。

6)被刪除的目錄

死鏈太多，對(duì)于搜索引擎優(yōu)化，是致命的。不能不引起網(wǎng)站管理員的高度關(guān)注，。在網(wǎng)站的發(fā)展過(guò)程中，目錄的刪除和調(diào)整是不可避免的。如果您的網(wǎng)站目錄不存在，則有必要進(jìn)行此目錄robots屏蔽，回到正確的404錯(cuò)誤頁(yè)面。

?????這里有一個(gè)有爭(zhēng)議的問(wèn)題，關(guān)于網(wǎng)站背景處理目錄是否需要屏蔽，事實(shí)上，這是可有可無(wú)的。如果你的網(wǎng)站運(yùn)營(yíng)情況下，如果你的網(wǎng)站運(yùn)營(yíng)計(jì)劃很小，即使網(wǎng)站目錄出現(xiàn)了robots.txt文件中沒(méi)有太多問(wèn)題，我見(jiàn)過(guò)很多網(wǎng)站這樣設(shè)置；但是，如果你的網(wǎng)站運(yùn)營(yíng)規(guī)劃大，競(jìng)爭(zhēng)對(duì)手太多，強(qiáng)烈提倡不要呈現(xiàn)網(wǎng)站后臺(tái)管理目錄的信息，以免被別有用心的人使用，危害你的利益；引擎越來(lái)越智能，網(wǎng)站的管理目錄仍然可以很好地識(shí)別和放棄索引。另外，我們?cè)谧鼍W(wǎng)站背景時(shí)，我們也可以在頁(yè)面元標(biāo)簽中添加：屏蔽和捕獲搜索引擎。