作為一個站長,如果你甚至不知道網站日志是什么,或者根本不喜歡它,我只能說你是一個不稱職的站長。一旦網站出了問題,你一定很無助!即使你掌握了SEO的基本知識,你也應該善于分析網站日志
許多SEO新手站長可能會認為不分析網站日志沒關系。我相信每個人都在自己的網站上安裝了網站統計代碼,比如GoogleAnalytics、quantumstatistics、baidustatistics、cnzz、51La等。這些工具可以計算網站的流量,但這些統計工具無法計算你主機上資源的原始訪問信息,比如誰下載了圖片,而且無法統計沒有添加統計代碼的地方,例如后臺操作頁面
絕大多數收費主機提供原始訪問日志。網站服務器將自動記錄每個訪問者的訪問信息,并將其保存在原始訪問日志文件中。如果您的主機不提供日志功能,建議您在到期后更換主機。日志記錄了網站上所有資源的訪問信息,包括所有網頁打開過程中加載的圖像、CSS、JS、flash、HTML、MP3等資源。同時,它記錄了誰訪問了這些資源,訪問了哪些資源,訪問結果是什么??梢哉f,原始訪問日志記錄了主機所有資源的使用情況
分析網站日志的作用是什么
1。我們可以更準確地定位搜索引擎爬行器爬行我們網站的次數,并屏蔽偽爬行器(主要收集此類爬行器,這將增加我們服務器的開銷)
2。通過分析網站日志,我們可以準確定位搜索引擎蜘蛛抓取的頁面和時間長度。我們可以依次調整我們的網站
3。HTTP返回狀態代碼。搜索引擎蜘蛛和用戶每次訪問我們的網站時會有類似于301404200的狀態嗎?我們可以參考這些信息來簡單地診斷我們的網站存在的問題,并及時處理問題
如何分析網站日志中的內容
注意經常訪問的資源
如果您發現日志中經常訪問資源(網頁、圖片、MP3等),您應該注意資源的使用位置!如果這些請求(referer)的來源不是您的網站或是空的,并且狀態代碼(httpcode)是200,這意味著您的資源可能會被盜。通過referer,你可以找到盜賊的網站,這可能是你網站流量激增的原因。你應該做好防盜鏈
2、注意你網站上不存在的資源請求
如果一些請求的信息不是本網站的資源,httpcode是403或404,但從名稱分析來看,可能是保存數據庫信息的文件。如果這些信息被其他人拿走,攻擊你的網站就會容易得多。啟動這些請求的目的無非是掃描你的網站,尋找漏洞。通過無目的地掃描和下載這些已知的漏洞文件,您很可能會在您的網站中發現漏洞!通過觀察,我們可以發現這些請求中使用的代理幾乎都是非傳統瀏覽器類型,如Mozilla/4.0、Mozilla/5.0或libwwwPerl/。我在上面提供的日志格式化工具集成了這些請求的警報功能。我們可以通過禁止這些代理的訪問來防止他們被掃描。具體方法如下所述
觀察搜索引擎蜘蛛的訪問
通過觀察日志中的信息,你可以看到你的網站被蜘蛛訪問的頻率,然后你可以看到你的網站是否受到搜索引擎的青睞。這些都是SEO關注的問題。日志格式化工具集成了搜索引擎蜘蛛的提示功能。常見搜索引擎蜘蛛使用的代理列表如下:
谷歌蜘蛛:Mozilla/5.0(兼容;Googlebot/2.1)+http://www.google.com/bot.html)
百度蜘蛛:百度蜘蛛+(+http://www.baidu.com/search/spider.htm)
雅虎!Spider:Mozilla/5.0(兼容;Yahoo!Slurp/3.0;http://help.yahoo.com/help/us/ysearch/slurp)
雅虎!中國蜘蛛:Mozilla/5.0(兼容;雅虎中國;http://misc.yahoo.com.cn/help.html)
微軟必應蜘蛛:MSNBot/2.0B(+http://search.msn.com/msnbot.htm)
谷歌Adsensespider:mediapartners谷歌
有道spider:Mozilla/5.0(兼容;有道機器人/1.0);http://www.youdao.com/help/webmaster/spider/)
Soso博客蜘蛛:sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm)
搜狗網蜘蛛:搜狗網蜘蛛/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Twiceler爬蟲:Mozilla/5.0(Twiceler-0.9)http://www.cuil.com/twiceler/robot.html)
谷歌圖像搜索蜘蛛:谷歌機器人圖像/1.0
俄羅斯yandex搜索引擎蜘蛛:yandex/1.01.001(兼容;win16;I)
Alexa蜘蛛:IA_archiver(+http://www.alexa.com/site/help/webmasters)
Feedsky蜘蛛:Mozilla50(兼容;Feedskycrawler/1.0)
韓國雪人蜘蛛:雪人/1.0(nhncorp;http://help.naver.com/robots/)
觀察訪客行為
通過查看格式化日志,可以查看和跟蹤某個IP在一定時間段內的一系列訪問行為。單個IP的訪問記錄越多,網站的PV越高,用戶粘性越好;如果單個IP的訪問記錄很少,你應該考慮如何使你的網站內容更具吸引力。通過分析訪問者的行為,你可以為你的網站建設提供有力的參考,哪些內容好,哪些內容壞,并確定網站的發展方向;通過分析訪問者的行為,看看他們做了什么,我們可以猜測訪問者的意圖,及時發現惡意用戶
總結:另一點要介紹的是,當網站遇到搜索引擎的K下降時,網站日志可以向我們提供K下降的原因(我認為這是站群的朋友),通過網站日志的相關數據,我們可以看到搜索引擎何時會恢復正常訪問。這樣,我們可以選擇繼續或放棄。雖然它非常無助,但它也是最后的手段和明智的選擇。