???上面提到了很多關(guān)于站點(diǎn)優(yōu)化的相關(guān)內(nèi)容，今天小邊想分享的內(nèi)容是文件優(yōu)化。做網(wǎng)站優(yōu)化的人應(yīng)該知道Robots.txt嗯，我們可以直接與搜索引擎蜘蛛交談，告訴蜘蛛哪些內(nèi)容可以捕獲，哪些內(nèi)容不能捕獲。這與我們今天要談?wù)摰奈募?yōu)化有關(guān)。

????Robot.txt用法詳解及robot.txt問題匯總???????(1)為什么設(shè)置？Robots.txt??????在進(jìn)行SEO操作時(shí)，我們需要告訴搜索引擎哪些頁(yè)面重要，哪些頁(yè)面不重要。蜘蛛可以抓取重要的頁(yè)面。屏蔽不重要的頁(yè)面可以減輕網(wǎng)站服務(wù)器的負(fù)擔(dān)。???????(2)一些常見的問題和知識(shí)點(diǎn)????當(dāng)蜘蛛找到一個(gè)網(wǎng)站時(shí)，第一步是抓取網(wǎng)站Robots.txt文件(當(dāng)然是官方說(shuō)的，有時(shí)候不遵守)；????建議設(shè)置所有網(wǎng)站Robots.txt如果你認(rèn)為網(wǎng)站上的所有內(nèi)容都很重要，你可以建立一個(gè)空的robots.txt文件;???????(3)在robots.txt在文件中設(shè)置網(wǎng)站地圖????你可以在robots.txt向蜘蛛網(wǎng)站地圖所在地址添加網(wǎng)站地圖。???????(4)Robots.txt的順序?????在蜘蛛協(xié)議中，Disallow與Allow這是一個(gè)非常重要的問題，如果設(shè)置錯(cuò)誤，可能會(huì)導(dǎo)致抓取錯(cuò)誤。?????引擎蜘蛛程序?qū)⒊晒ζヅ涞谝粋€(gè)Allow或Disallow確定是否訪問某個(gè)URL，一個(gè)例子可以讓你更清楚:????User-agent:*2.Allow:/seojc/bbs3.Disallow:/seojc/在這種情況下，蜘蛛/seojc/bbs但是/seojc不能抓取目錄文件。蜘蛛可以通過這種方式訪問特定目錄的一部分url。?????讓我們觀察下調(diào)位置。?????User-agent:*2.Disallow:/文件夾/3.Allow:/seojc/bbs/seojc/如果目錄出現(xiàn)在第一行，抓取目錄下的所有文件，因此第二行Allow無(wú)效，因?yàn)榻乖诘谝恍凶トeojc目錄下的所有文件，bbs目錄恰到好處seowhy目錄下。所以匹配不成功。???????(5)Robots.txt路徑問題?????在蜘蛛協(xié)議中，Allow和Disallow后面有兩種路徑形式，即絕對(duì)鏈接和相對(duì)鏈接。絕對(duì)鏈接是完整的URL形式，相對(duì)鏈接只針對(duì)根目錄。這是重點(diǎn)記憶。??????(6)斜杠問題????Disallow:/seojc禁止抓取seoic本目錄下的所有文件，如：seojc.1.html、seojc/rmjc.php不允許抓取；????Disallow:/seojc/表示禁止抓取seojc本目錄下的文件允許捕獲seojc.1.html，但不允許抓取seojc/rmjc.php。?????綜上所述，以上是小編想和大家分析的站內(nèi)優(yōu)化文件優(yōu)化。看完后你是否感到驚訝？我不知道有這么多秘密。其實(shí)站內(nèi)優(yōu)化的知識(shí)遠(yuǎn)不止這些，下次有機(jī)會(huì)和大家分享一些其他的。好了，今天就和大家分享一下。?