網(wǎng)站日志，準(zhǔn)確來說是服務(wù)器日志。通過服務(wù)器日志，我們可以了解到用戶在什么IP、在什么分辨率的設(shè)備、什么時間、什么地區(qū)訪問了我們的網(wǎng)站，以及當(dāng)時訪問的頁面是否正常。
對于我們網(wǎng)站而言，搜索引擎也是網(wǎng)站用戶之一。本文提到的網(wǎng)站日志分析，更多是在分析搜索引擎這種用戶。

下面是一條標(biāo)準(zhǔn)的log file記錄：

202.71.113.38 – - [03/Jan/2014:01:56:12 +0800] "GET /http://www.mahaixiang.cn/SEO/index.html HTTP/1.0" 200 5122

從左到右，202.71.113.38就是遠(yuǎn)程主機(jī)的IP；而登錄名和登錄全名指的是發(fā)起這個請求的用戶的名字，這個一般大家是不想要透露的了，所以遠(yuǎn)程主機(jī)會禁止給出這兩個信息，log file當(dāng)然就記錄不下來了，用兩個短中劃線代替。

然后，03/Jan/2014是請求發(fā)生的日期，01:56:12則是具體時間，之后的+0800是指比格林威治時間要晚8個小時，就是我們北京時間了。

再之后的GET是請求的方法，另一種方法是POST，可以簡單理解為GET就是索取，POST就是提交。

接著www.mahaixiang.cn/SEO/index.html是被請求文件的地址，可以是絕對地址也可以是相對地址。

HTTP/1.0是請求所遵守的協(xié)議，這里的協(xié)議是HTTP 1.0，整個記錄的結(jié)尾是兩個數(shù)字，其中200表示一種請求的狀態(tài)，意思是請求一切正常（具體可查看馬海祥博客《解讀IIS日志中搜索引擎蜘蛛名稱代碼及爬尋返回代碼》的相關(guān)介紹）。

有時候這個數(shù)字會顯示為404（不明白怎么設(shè)置404的朋友，可查看馬海祥博客《你真的懂404頁面設(shè)置嗎》的相關(guān)介紹），相信大家一看到這個數(shù)字就頭痛，它表示請求的文件無法找到（file not found）；又有時候，這個數(shù)字會顯示為301，表示頁面被重新定向到了別的地址。

最后的一個數(shù)字5593，表示所請求的文檔的長度為5122 bytes。

通用格式其實(shí)很簡單，但是里面的這11類記錄往往不足夠幫助我們進(jìn)行更深入的分析，因此其他的一些記錄被加入進(jìn)來，其中最重要的一些是：

①、請求來源（Referrer）：指連接到被請求資源的網(wǎng)站的URL，如果請求時通過點(diǎn)擊一個鏈接時發(fā)生，那么這個項(xiàng)目就會被記錄；

②、客戶端（User Agent）：記錄用戶的瀏覽器或者發(fā)出請求的程序的相關(guān)信息；

③、所需時間（Time Taken）：從請求的發(fā)出到請求的資源全部傳輸完畢所需花費(fèi)的時間；

④、Cookie：關(guān)于cookie的內(nèi)容請大家看馬海祥博客《基于Cookie信息的互聯(lián)網(wǎng)精準(zhǔn)廣告定向技術(shù)研究》的這篇文章，在此，也就不多講了。

看起來，網(wǎng)站服務(wù)器日志所記錄的內(nèi)容是很有限的，比起我們動輒上萬行的編程實(shí)在是九牛一毛，但是，千萬別認(rèn)為網(wǎng)站服務(wù)器日志文件會很小，對于一些大網(wǎng)站，每分每秒都有很多訪問者對網(wǎng)站服務(wù)器進(jìn)行請求，所以日志文件會積少成多，成為巨型的數(shù)據(jù)文件。

有時候，一個小時的記錄就能超過數(shù)G的容量，如果你網(wǎng)站的服務(wù)器日志一個月才1M，那你就要加油了，沒有人氣的網(wǎng)站可沒有生命力。

利用網(wǎng)站服務(wù)器日志分析網(wǎng)站的優(yōu)點(diǎn)

如果你問我什么情況下，選擇用網(wǎng)站服務(wù)器日志來進(jìn)行網(wǎng)站分析，我建議你如非必須，那么，還是尋找一些更容易的方法能夠事半功倍，看看后面的內(nèi)容，你就能知道我為什么這么說了。

盡管是個技術(shù)活，但是利用網(wǎng)站服務(wù)器日志進(jìn)行網(wǎng)站分析還是有不少好處的。

（1）、網(wǎng)站服務(wù)器的日志是被你完全掌控的數(shù)據(jù)

所謂放在自己手心才是最放心的，這些日志在你的服務(wù)器中，如果不是h客入侵，數(shù)據(jù)不可能被你不希望的人獲取（具體可查看馬海祥博客《如何通過IIS日志分析網(wǎng)站的隱形信息》的相關(guān)介紹）。

而且，只要你不刪除，它們永遠(yuǎn)都在那里，在任何時候你都可以回溯歷史數(shù)據(jù)，無論這些數(shù)據(jù)有多么久遠(yuǎn)，有朝一日，你的網(wǎng)站大獲成功，這些日志也是一份奮斗歷史的見證。

（2）、能夠記錄機(jī)器人或自動程序?qū)W(wǎng)站的訪問

其次，前面講過，網(wǎng)站服務(wù)器的日志是記錄網(wǎng)站服務(wù)器行為的，因此任何服務(wù)器響應(yīng)的請求都會被記錄下來，這些響應(yīng)可能是應(yīng)答用戶發(fā)出的請求，也完全可能是應(yīng)答一些互聯(lián)網(wǎng)上自動程序發(fā)出的請求。

最常見的一種互聯(lián)網(wǎng)上的自動程序是搜索引擎的機(jī)器人，例如：百度的Baiduspider、Google的Googlebot，這意味著網(wǎng)站服務(wù)器日志能夠用來分析搜索引擎的訪問，并幫助我們優(yōu)化搜索引擎對網(wǎng)站的訪問。

講到這里，馬海祥請大家注意，并不是每一種網(wǎng)站分析方法都能做到這一點(diǎn)，我們最常用的為網(wǎng)站頁面加入標(biāo)簽的方法是不能獲取搜索引擎流量的。

（3）、各個終端訪問的詳細(xì)記錄

網(wǎng)站服務(wù)器的日志能夠記錄網(wǎng)站服務(wù)器全部響應(yīng)行為的特點(diǎn)還延伸出另外一個優(yōu)點(diǎn)，那就是無論是何種終端訪問服務(wù)器，都能把相關(guān)數(shù)據(jù)記錄下來。

現(xiàn)在，能夠訪問網(wǎng)站的終端越來越多了，我無聊的時候也試著用Sony的PSP上網(wǎng)，用手機(jī)的GPRS也能輕松的瀏覽網(wǎng)頁，這些形形色 色的終端的訪問，服務(wù)器日志都會忠實(shí)的記錄，但頁面加入標(biāo)簽的方法就可能完全行不通。

（4）、能夠探知文件是否完全下載

日志方法的另一個好處是能夠記錄文件下載的情況，如果你在網(wǎng)上下載一個MP3音樂，你在發(fā)出這個響應(yīng)的時候，日志會記錄一個狀態(tài)；你在下載完全的時候，日志照樣會記錄一個狀態(tài)；如果你沒有下載完全，日志還是會記錄下來，這個，我想對那些提供下載服務(wù)的網(wǎng)站很有用。

（5）、數(shù)據(jù)獲取不依賴于第三方

通過日志獲取數(shù)據(jù)本身不需要額外的第三方的幫助，只要你的服務(wù)器在運(yùn)轉(zhuǎn)，日志就會源源不斷的被創(chuàng)建、保存。

不過，請注意，這里我所指的是數(shù)據(jù)的獲取不需要額外的支持，但是數(shù)據(jù)的分析一般而言，還是需要第三方的幫助的，直接去用肉眼讀日志文件中的數(shù)據(jù)進(jìn)行分析是不可想象的。

（6）、不怕防火墻

最后，日志方法不懼怕防火墻或客戶端安全軟件的屏蔽，因?yàn)閿?shù)據(jù)都是從服務(wù)器端獲取的。

看起來似乎不錯，不過凡事有利有弊，日志方法也肯定有它不能克服的不足

利用網(wǎng)站服務(wù)器日志分析網(wǎng)站的缺點(diǎn)

日志方法能夠起到作用的前提是服務(wù)器要響應(yīng)來自客戶端的請求，如果客戶端的請求不通過服務(wù)器就得到了響應(yīng)（這其實(shí)是經(jīng)常發(fā)生的），那么服務(wù)器日志法就無能為力了。

（1）、害怕網(wǎng)頁緩存

為了提高網(wǎng)站頁面的載入速度，人們發(fā)明了網(wǎng)頁緩存（Cache），在臺灣，Cache被翻譯作“快取”，似乎兼?zhèn)淞艘袅x。

網(wǎng)頁緩存的原理很容易理解，但卻是個了不起的發(fā)明，在緩存出現(xiàn)之前，人們訪問網(wǎng)站每次都需要把網(wǎng)頁從網(wǎng)站的服務(wù)器傳輸?shù)娇蛻舳说臑g覽器中，這個速度當(dāng)然會有點(diǎn)兒慢，尤其是網(wǎng)絡(luò)條件不好的時候。

于是善動腦筋的人們發(fā)現(xiàn)，每次訪問的網(wǎng)站其實(shí)有很多內(nèi)容是沒有更新的，如果能夠把那些不經(jīng)常更新的部分放在自己的電腦里面，每次打開網(wǎng)頁的時候，首先搜索自己電腦里面已經(jīng)有的內(nèi)容，然后再去服務(wù)器去尋找那些被更新了的部分，這樣服務(wù)器傳輸?shù)臄?shù)據(jù)量就會大大減少了，整個網(wǎng)頁也會被更快地顯示出來。

現(xiàn)在，我們大部分人的瀏覽器都設(shè)置了緩存，所以，有時候，你會發(fā)現(xiàn)，即使網(wǎng)絡(luò)沒有接通，你訪問的網(wǎng)站似乎也能“正常”打開，只不過瀏覽器會顯示“脫機(jī)”狀態(tài)，告訴你，這些內(nèi)容不是真正從服務(wù)器傳輸過來的。

除了客戶端（瀏覽器）能夠存放緩存的內(nèi)容外，代理服務(wù)器（Proxy）也能夠存放網(wǎng)頁緩存，目的同樣是為了提速。

你可以把代理服務(wù)器的緩存想象成CPU的“二級緩存”——當(dāng)客戶端沒有存儲某個網(wǎng)頁的緩存的時候（“一級緩存”沒有內(nèi)容），瀏覽器就會尋找代理服務(wù)器緩存，看看有沒有內(nèi)容，如果還沒有，那才會再去尋找真正存放網(wǎng)頁內(nèi)容的網(wǎng)站服務(wù)器。

有了緩存，當(dāng)你點(diǎn)擊瀏覽器的“回退按鈕”的時候，回退的上一個頁面就不需要再重新從服務(wù)器中下載一次，而是立即就呈現(xiàn)在你的面前，你常用的網(wǎng)站的打開速度也顯著提升了（具體可查看馬海祥博客《如何實(shí)現(xiàn)shtml頁面的局部緩存》的相關(guān)介紹）。

可是，對于通過服務(wù)器日志來獲取網(wǎng)站訪問數(shù)據(jù)的方法而言，這可不是一個好事情，由于緩存的存在，本來應(yīng)該請求服務(wù)器的結(jié)果不需要請求了，服務(wù)器的日志什么也不會記錄下來，可是對頁面的訪問卻又實(shí)實(shí)在在的發(fā)生了，所以，緩存的存在會使日志方法低估網(wǎng)站的實(shí)際訪問量。

（2）、害怕Flash等“客戶端交互”內(nèi)容

現(xiàn)在，為了更具沖擊力的視覺效果和更豐富的網(wǎng)頁互動，很多網(wǎng)站都運(yùn)用Flash、加入視頻、設(shè)計(jì)很多互動程序在網(wǎng)頁上已經(jīng)稀疏平常。

而這些元素，它們太獨(dú)立了，以至于當(dāng)它們被載入到瀏覽器端了之后，完全可以在瀏覽器端運(yùn)行而不再與服務(wù)器發(fā)生交互，或者只需要在必要的時候才與服務(wù)器發(fā)生交互。

比如，你玩普通網(wǎng)頁版的Flash 小游戲，一旦游戲下載完畢，你在玩的過程中跟網(wǎng)站服務(wù)器就不會有什么聯(lián)系了，或者你看網(wǎng)頁上的視頻，你在播放器上進(jìn)行的暫停操作，一般也不會跟服務(wù)器進(jìn)行互動。

還有，有一些腳本語言編寫的網(wǎng)頁程序，是在瀏覽器上被解釋執(zhí)行的，比如用JavaScript實(shí)現(xiàn)的網(wǎng)頁Tab標(biāo)簽切換，在頁面全部載完后，無論你怎么切換Tab，服務(wù)器都感覺不到了。

服務(wù)器感覺不到，也就不會存在什么服務(wù)器日志記錄，也就不會有數(shù)據(jù)，因此用日志方法是無法準(zhǔn)確獲取“客戶端交互”類型的網(wǎng)站訪問行為的，這種情況下，必須選擇其他的數(shù)據(jù)收集方法。

（3）、不精確的訪問者記錄

日志方法辨別獨(dú)立訪問者需要依靠客戶端的IP地址，也只能依靠它，不過，IP地址顯然不代表真正的訪問者，上班族的整個辦公室的IP地址都可能是一個（使用代理服務(wù)器），而這個辦公室可能坐著十多個人。

同樣，在家中，如果你購買了公共網(wǎng)絡(luò)服務(wù)，那么你的IP地址存在動態(tài)分配的問題，你今天上網(wǎng)的IP地址和明天的可能就會不同，這個時候日志方法只能判斷為兩個不同的訪問者。

此外，前面提到過日志是能夠忠實(shí)記錄機(jī)器（非人為）的訪問活動的，但是機(jī)器不是人，它們的活動混在真實(shí)的人的訪問之中，同樣會使真實(shí)訪問者的數(shù)量，或者訪問數(shù)本身被高估。

在這正反兩相反方向的共同作用下，結(jié)果只能一個，那就是對于訪問者數(shù)量的估算是非常模糊的。

當(dāng)然，我們必須要承認(rèn)，無論用什么方法，網(wǎng)站訪問者的精確數(shù)量都無法獲得，但相對而言，日志方法要更不準(zhǔn)確些。

（4）、較弱的實(shí)時性

網(wǎng)站服務(wù)器日志是記錄服務(wù)器運(yùn)行的實(shí)時數(shù)據(jù)的，但是這些數(shù)據(jù)想要被取出分析，實(shí)時性就沒有那么好了。

常見的情況是，你必須首先把服務(wù)器日志文件（log file）從服務(wù)器中取出來，而這些文件肯定不會是服務(wù)器正在運(yùn)行過程中的數(shù)據(jù)，一般都是隔天的（需要驗(yàn)證），然后再把這些日志文件導(dǎo)入到專門針對日志分析的工具中才能進(jìn)行分析，這個過程的快慢依賴于你的熟練程度，但要追求實(shí)時，頗有難度。

有技術(shù)高超的站長或者工程師通過架設(shè)內(nèi)部網(wǎng)絡(luò)、組建專門的日志分析服務(wù)器，并且編寫特定的程序來解決日志分析的實(shí)時性問題，但是，對于普通的中小網(wǎng)站，這種方法難度頗大，花費(fèi)不菲，所以可行性不強(qiáng)。

因此，實(shí)時性是絕大部分通過日志方法來分析網(wǎng)站數(shù)據(jù)時要面對的問題。

（5）、海量的數(shù)據(jù)存儲

服務(wù)器日志是忠實(shí)的，所以它會如實(shí)記錄下來每一分每一秒發(fā)生的每一條服務(wù)器響應(yīng)。

對于一些流量稍大的網(wǎng)站，一天的網(wǎng)站日志記錄超過數(shù)個G（Gigabytes）是非常正常的，而那些最大的網(wǎng)站，一個小時就可能產(chǎn)生數(shù)G的記錄。

我們沒有詹姆斯·卡梅隆的超級團(tuán)隊(duì)（他的《阿凡達(dá)》特效需要處理超過500,000G的數(shù)據(jù)），所以如果要回溯網(wǎng)站一個月的流量就可能變成一個相當(dāng)棘手的問題，需要投入相當(dāng)?shù)臅r間和耐心，如果你沒有相當(dāng)?shù)募夹g(shù)和經(jīng)驗(yàn)，效率就會很低。

（6）、日志文件獲取繁瑣

我們不能把日志文件的獲取想象的太簡單，畢竟這不是在自己電腦中點(diǎn)開一個MP3文件那么容易，有些網(wǎng)站有鏡像服務(wù)器，有些服務(wù)器在境外，有些服務(wù)器是由處在多個不同地理位置的物理服務(wù)器邏輯組合而成。

這些情況下，在進(jìn)行日志分析之前需要集中所有的日志文件，這是一個很有些麻煩的事情，尤其是當(dāng)日志文件的體積極為龐大的時候。

另外，如果是租用的ISP服務(wù)器空間，如果沒有權(quán)限獲取日志數(shù)據(jù)，那么實(shí)際上連進(jìn)行分析的可能性 都沒有了。