日志分析工具Awstats實戰之Nginx篇：分析結果靜態化

作者：sunsky 2013-10-31 11:08:15

Awstats 的運行是需要 PERL 環境的支持，從 awstats 的文檔來看，它對 Apache HTTP Server 的支持是非常完美的，而當我們把 Web 服務器換成 Nginx 后，要運行 awstats 變得很麻煩。首先 Nginx 本身對 Perl 的支持是比較弱的，甚至官方也不建議使用；另外在日志格式上有需要修改后才能運行。

前言：

Awstats 是在 SourceForge 上發展很快的一個基于 Perl 的 WEB 日志分析工具，一個充分的日志分析讓 Awstats 顯示您下列資料：

訪問次數、獨特訪客人數,
訪問時間和上次訪問,
使用者認證、最近認證的訪問,
每周的高峰時間(頁數,點擊率,每小時和一周的千字節),
域名/國家的主機訪客(頁數,點擊率,字節,269域名/國家檢測, geoip 檢測),
主機名單,最近訪問和未解析的 IP 地址名單
大多數看過的進出頁面,
檔案類型,
網站壓縮統計表(mod_gzip 或者 mod_deflate),
使用的操作系統 (每個操作系統的頁數,點擊率 ,字節, 35 OS detected),
使用的瀏覽器,
機器人訪問(檢測 319 個機器人),
蠕蟲攻擊 (5 個蠕蟲家族),
搜索引擎，利用關鍵詞檢索找到你的地址,
HTTP 協議錯誤(最近查閱沒有找到的頁面),
其他基于 URL 的個性報導,鏈接參數, 涉及綜合行銷領域目的.
貴網站被加入"最喜愛的書簽".次數.
屏幕大小(需要在索引頁補充一些 HTML 標簽).
瀏覽器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.
負載平衡服務器比率集群報告.

使用awstats可以分析apache日志，同樣也可以分析nginx日志。本文將詳細介紹自動定時切割nginx的訪問日志，并使用awstats來定時分析nginx日志及實現統計結果可供安全便捷的查閱。

環境：

CentOS 6.4 x86_64 
ip：192.168.1.113 域名：www.sunsky.com 
nginx-1.2.9 編譯安裝，路徑/usr/local/nginx，服務開啟狀態 
日志記錄格式為nginx默認的，切勿更改，否則會造成awstats無法分析日志。 
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ' 
'$status $body_bytes_sent "$http_referer" ' 
'"$http_user_agent" "$http_x_forwarded_for"'; 
awstats-7.2.tar.gz

一、日志自動切割

對于nginx的日志切割，由于沒有像apache一樣去用cronolog工具，這里我們就寫一個腳本，讓它可以在每天00:01自動執行，切割昨天的日志（交由awstats分析），壓縮前天的日志（壓縮日志可減小存儲空間，為防止awstats沒有分析完就被壓縮，所以只壓縮前天的日志）。

vim /server/scripts/cut_nginx_log.sh

輸入以下內容：

#!/bin/sh 
yesterday=`date -d "yesterday" +"%Y%m%d"` 
before_yesterday=`date -d "-2 day" +"%Y%m%d"` 
Nginx_Dir="/usr/local/nginx" 
Nginx_logs="/app/logs" 
Log_Name="www_access" 
cd /tmp 
[ -d $Nginx_Logs ] && cd $Nginx_logs || exit 1 
[ -f $Log_Name.log ] && /bin/mv $Log_Name.log ${Log_Name}_${yesterday}.log || exit 1 
if [ $? -eq 0 -a -f $Nginx_Dir/logs/nginx.pid ] 
then 
kill -USR1 `cat $Nginx_Dir/logs/nginx.pid` 
fi 
[ -f  ${Log_Name}_${before_yesterday}.log ] && /usr/bin/gzip ${Log_Name}_${before_yesterday}.log|| exit 1

執行crontab -e將該腳本加入定時任務中

1 0 * * * /bin/sh /server/scripts/cut_nginx_log.sh >/dev/null 2>&1

這樣每天凌晨00:01就能自動實現日志的切割，壓縮等功能了。

因為本次實驗下的nginx此時已經有日志了，另外為了后文awstats能對切割過的日志進行分析，所以這里我們要運行一下此腳本，來將現有日志進行切割生成昨天的日志方便后文操作。

/bin/sh /server/scripts/cut_nginx_log.sh >/dev/null 2>&1

#p#

二、Awstats的安裝與配置

1.部署awstats

首先我們要下載awstats軟件包，并將其放在常規目錄（/usr/local）下：

wget http://awstats.sourceforge.net/files/awstats-7.2.tar.gz 
tar zxf awstats-7.2.tar.gz 
mv awstats-7.2 /usr/local/awstats

由于wget下載下來的包中權限是非root的，所以這里要修改權限，否則稍后*.pl將無法運行

chown -R root.root /usr/local/awstats 
chmod +x /usr/local/awstats/tools/*.pl 
chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl

接下來我們要執行awstats/tools下的awstats_configure.pl配置向導，用來生成awstats的配置文件，awstats配置文件的命名規則是awstats.website.conf。

cd /usr/local/awstats/tools/ 
./awstats_configure.pl

此時會出現如下提示：

----- AWStats awstats_configure 1.0 (build 1.9) (c) Laurent Destailleur ----- 
This tool will help you to configure AWStats to analyze statistics for  
one web server. You can try to use it to let it do all that is possible 
in AWStats setup, however following the step by step manual setup 
documentation (docs/index.html) is often a better idea. Above all if: 
- You are not an administrator user, 
- You want to analyze downloaded log files without web server, 
- You want to analyze mail or ftp log files instead of web log files, 
- You need to analyze load balanced servers log files, 
- You want to 'understand' all possible ways to use AWStats... 
Read the AWStats documentation (docs/index.html). 
-----> Running OS detected: Linux, BSD or Unix 
-----> Check for web server install 
Enter full config file path of your Web server. 
Example: /etc/httpd/httpd.conf 
Example: /usr/local/apache2/conf/httpd.conf 
Example: c:\Program files\apache group\apache\conf\httpd.conf 
Config file path ('none' to skip web server setup): 
> none      #這里讓填寫網頁服務器的配置文件路徑，因為我們用的不是apache，所以這里要填none 
Your web server config file(s) could not be found. 
You will need to setup your web server manually to declare AWStats 
script as a CGI, if you want to build reports dynamically. 
See AWStats setup documentation (file docs/index.html) 
-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf' 
File awstats.model.conf updated. 
-----> Need to create a new config file ? 
Do you want me to build a new AWStats config/profile 
file (required if first install) [y/N] ? y          
#詢問是否創建一個新的配置文件，這里填y 
-----> Define config file name to create 
What is the name of your web site or profile analysis ? 
Example: www.mysite.com 
Example: demo 
Your web site, virtual server or profile name: 
> www.sunsky.com       
#這里讓填寫你的網站域名，虛擬主機名或者隨便一個配置名 
-----> Define config file path 
In which directory do you plan to store your config file(s) ? 
Default: /etc/awstats 
Directory path to store config file(s) (Enter for default): 
>#這里要填寫你配置文件存放路徑，我們使用它默認的路徑/etc/awstats，所以直接回車即可 
-----> Create config file '/etc/awstats/awstats.www.sunsky.com.conf' 
Config file /etc/awstats/awstats.www.sunsky.com.conf created. 
-----> Add update process inside a scheduler 
Sorry, configure.pl does not support automatic add to cron yet. 
You can do it manually by adding the following command to your cron: 
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.sunsky.com 
Or if you have several config files and prefer having only one command: 
/usr/local/awstats/tools/awstats_updateall.pl now 
Press ENTER to continue...   
#提示不能自動加入crontab定時任務，需要稍后自己添加，我們按回車繼續即可 
A SIMPLE config file has been created: /etc/awstats/awstats.www.sunsky.com.conf 
You should have a look inside to check and change manually main parameters. 
You can then manually update your statistics for 'www.sunsky.com' with command: 
> perl awstats.pl -update -config=www.sunsky.com 
You can also build static report pages for 'www.sunsky.com' with command: 
> perl awstats.pl -output=pagetype -config=www.sunsky.com 
Press ENTER to finish... #提示配置文件創建完成和如何更新配置及建立靜態報告頁，這里我們回車即可結束這個配置向導

2、修改awstats配置文件

完成配置文件的創建之后，我們還需要對/etc/awstats/awstats.www.sunsky.com.conf里的一些參數進行修改。

sed -i 's#LogFile="/var/log/httpd/mylog.log"#LogFile="/app/logs/www_access_%YYYY-24%MM-24%DD-24.log"#g' /etc/awstats/awstats.www.sunsky.com.conf

這里更改的目的是指定awstats需要分析的nginx的日志文件路徑。這里的路徑大家要按自己的日志路徑來填。

sed -i 's#DirData="/var/lib/awstats"#DirData="/usr/local/awstats/data"#g' /etc/awstats/awstats.www.sunsky.com.conf

這里更改的目的是指定awstats的數據庫配置文件（即awstats的數據庫(純文本)）。

由于，此處沒有/usr/local/awstats/data目錄，所以我們要創建出來

mkdir /usr/local/awstats/data

以上的兩個替換操作進行完之后一定要用命令查看替換是否成功，以便及早發現紕漏。

grep "LogFile=" /etc/awstats/awstats.www.sunsky.com.conf 
grep "DirData=" /etc/awstats/awstats.www.sunsky.com.conf

查詢替換結果正確之后，即可進行下面的步驟。

3、創建awstats統計結果存放目錄

現在我們要創建awstats統計結果的數據庫存放目錄：

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.sunsky.com

如果屏幕輸出類似下面的提示就說明配置文件都正確無誤了：

Create/Update database for config "/etc/awstats/awstats.www.sunsky.com.conf" by AWStats version 7.2 (build 1.992) 
From data in log file "/app/logs/www_access.log"... 
Phase 1 : First bypass old records, searching new record... 
Searching new records from beginning of log file... 
Jumped lines in file: 0 
Parsed lines in file: 0 
Found 0 dropped records, 
Found 0 comments, 
Found 0 blank records, 
Found 0 corrupted records, 
Found 0 old records, 
Found 0 new qualified records.

注釋：awstats.pl 會到 /etc/awstats目錄下搜索，根據讀取到的配置文件運行程序，去讀取-config中的參數，把www.sunsky.com擴展成 awstats.www.sunsky.com.conf

分析日志：運行后將這樣的日志統計結果歸檔到一個awstats的數據庫（純文本）里；

然后是輸出：分兩種形式

1、一種是通過cgi程序讀取統計結果數據庫輸出；

2、一種是運行后臺腳本將輸出導出成靜態文件；

統計分析完成后，結果還在 Awstats 的數據庫中。在 Apache 上，可以直接打開 Perl 程序的網頁查看統計。但Nginx 對 Perl 支持并不好，所以要換個方法，利用 awstats 的工具將統計的結果生成靜態文件，這里方便我們還是用腳本來實現：

vim /server/scripts/awstats.sh

輸入以下內容：

#！/bin/sh 
Awstats_Dir="/usr/local/awstats" 
[ -d /www/awstats ]||mkdir /www/awstats 
$Awstats_Dir/wwwroot/cgi-bin/awstats.pl -update -config=www.sunsky.com 
$Awstats_Dir/tools/awstats_buildstaticpages.pl -update -config=www.sunsky.com -awstatsprog=$Awstats_Dir/wwwroot/cgi-bin/awstats.pl -lang=cn -dir=/www/awstats

腳本內容講解：

/usr/local/awstats/tools/awstats_buildstaticpages.pl    Awstats 靜態頁面生成工具 
-update -config=www.sunsky.com  更新配置項 
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl  Awstats 日志更新程序路徑 
-lang=cn     語言為中文 
-dir= /www/awstats  統計結果輸出目錄 
awstats_buildstaticpages.pl會根據-config的參數去讀取里面的DirData路徑下的數據庫配置文件，然后生成靜態的html文件，生成的文件重定向到/www/awstats目錄下。

#p#

三、配置nginx實現安全訪問

接下來我們要配置nginx使其能安全的訪問到分析的數據：

vim /usr/local/nginx/conf/nginx.conf

在server{}內添加如下內容：

server { 
listen       80; 
server_name  www.sunsky.com; 
location / { 
root   /www/sunsky; 
index  index.html index.htm; 
access_log /app/logs/www_access.log commonlog; 
} 
location ~ ^/awstats/ { 
root   /www/; 
index  awstats.www.sunsky.com.html;          #根據自己的網站域名進行更改首頁文件 
autoindex on； 
access_log off; 
charset gb2312; 
auth_basic "Restricted";                                          #有些網站不愿意公開網站流量信息，所以加個認證 
auth_basic_user_file /usr/local/nginx/htpasswd.pass;   #該文件由apache的加密認證工具htpasswd創建 
} 
location ~ ^/icon/ { 
root   /usr/local/awststs/wwwroot; 
index  index.html; 
access_log off; 
charset gb2312; 
} 
}

由于nginx沒有好的加密認證工具，需要借助apache的htpasswd來實現加密認證功能：

htpasswd -c -m /usr/local/nginx/htpasswd.pass sunskyadmin      #用戶名為sunskyadmin

配置完畢之后，檢查nginx語法，然后優雅重啟之后，用游覽器訪問www.sunsky.com/awstats，輸入賬號密碼之后即可查看統計信息了。

至此，awstats已經可以實現對Nginx的日志統計及靜態化的安全訪問功能了。

四、配置awstats自動運行

為了讓整個日志的統計過程可以實現自動化，將awstats.sh腳本加入crontab定時任務中去，此時結合上面的定時切割任務，我們的crontab里面會有多出來兩條定時任務

1 0 * * * /bin/sh /server/scripts/cut_nginx_log.sh >/dev/null 2>&1 
0 1 * * * /bin/sh /server/scripts/awstats.sh >/dev/null 2>&1

到此，我們整個日志訪問工具awstats在nginx上的配置就完成了。當然此篇是基于靜態頁面的顯示的，后面會再寫一篇日志分析工具Awstats實戰之Nginx篇-分析結果動態化出來和大家一起交流學習的。

本文作者：sunsky，博客地址：http://sunsky.blog.51cto.com/

責任編輯：黃丹來源：博客