nginx日志分析利器GoAccess，nginxgoaccess

文章由LinuxBoy分享于2019-04-04 03:04:22热评（615）

nginx日志分析利器GoAccess，nginxgoaccess

面试的时候一定会被面到的问题是：给出web服务器的访问日志，请写一个脚本来统计访问前10的IP有哪些？访问前10的请求有哪些？当你领略过goaccess之后，你就明白，这些问题，除了考验你的脚本背诵记忆能力以外，唯一的作用只有装A或者装C了。

对于nginx日志分析，有很多工具，衡量好坏的标准大概就是三快：安装快，解析快，上手快。满足这三点的goaccess确实是居家必备良药。

话说这个标题其实有点委屈GoAccess了，它是一个日志分析工具，并不只是为nginx使用的。你也可以用它来分析apache，IIS的日志，甚至你自己写的web服务，当然前提是你需要定义好解析的日志格式。诚如见到一个美女，你会一眼喜欢上它的几个功能有：

1 解析速度快

2 使用简单

3 能生成html，json，csv

安装GoAccess

如果你是centos，使用yum：

yum install goaccess

如果你的yum找不到goaccess，就先安装epel

wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
wget http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
sudo rpm -Uvh remi-release-6*.rpm epel-release-6*.rpm

GoAccess有两种使用方法，一种是直接在控制台显示和操作。

当你要立马分析出今天早上10点到12点的IP访问情况的时候，直接在控制台敲命令是最快的。

另外一种就是生成html文件或者数据文件。

如果你希望每天管理的服务器集群能给你发送一个昨天访问日志的情况，这个就是不二选择了。

控制台使用GoAccess

goaccess的参数:

-f <input-file> : 需要解析的日志文件

-a --agent-list : 在host模块是不是能点击IP出现这个IP的user-agentlist，就是出现如图的功能

127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 主机用户身份作者 [日期] "请求方法请求路径请求协议" 状态码字节数

NCSA Commbined Log Format

这个是Common Log Format的扩展，例子：

125.125.125.125 - dsmith [10/Oct/1999:21:15:05 +0500] "GET /index.html HTTP/1.0" 200 1043 "http://www.ibm.com/" "Mozilla/4.05 [en] (WinNT; I)" "USERID=CustomerA;IMPID=01234"

主机 用户身份 作者 [日期] "请求方法 请求路径 请求协议" 状态码 字节数 referrer 客户端代理 cookie

W3C

IIS 4.0和5.0是使用这种格式的，例子如下：

#Software: Microsoft Internet Information Server 4.0

#Version: 1.0

#Date: 1998-11-19 22:48:39

#Fields: date time c-ip cs-username s-ip cs-method cs-uri-stem cs-uri-query sc-status sc-bytes cs-bytes time-taken cs-version cs(User-Agent) cs(Cookie) cs(Referrer)

1998-11-19 22:48:39 206.175.82.5 - 208.201.133.173 GET /global/images/navlineboards.gif - 200 540 324 157 HTTP/1.0 Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+95) USERID=CustomerA;+IMPID=01234 http://yourturn.rollingstone.com/webx?98@@webx1.html

CloudFront

AWS上的日志格式

自定义格式

关于自定义格式所设置的参数说明在这里

-d --with-output-resolver 在HTML输出或者json输出中开启IP 解析

如果开启了-d，goaccess就会使用GEOIP来进行IP解析。

-e --exclude-ip=<ip address>

Host模块中不需要被统计的IP，比如可以将爬虫的IP过滤掉

-h --help 帮助文档

-H --http-protocol 显示的时候是否带上HTTP协议信息

-m --with-mouse 控制面板开启支持鼠标点击，带上了m之后，双击鼠标就相当于回车的操作

-M --http-method 是否带上HTTP方法信息

-H和-M带上之后效果为：

goaccess -d -f web.log -a -p /home/yejianfeng/.goaccessrc > test.html

生成的html的截图如下：

goaccess -q -f web.log -a -p /home/yejianfeng/.goaccessrc -o json >test.json

和csv

goaccess -q -f web.log -a -p /home/yejianfeng/.goaccessrc -o csv>test.csv

等等，还缺点什么？

正如文章，人无完人，工具无完美工具，goaccess也有几个让人不够爽的地方

geoip粒度太粗

它是使用机器自带的GeoIP，这个自带的77k左右的IP库只能判断出国籍，不能判断到城市。呃，这个就意味着你的报表中有99%的IP统计是来自：China。你可以升级你的GeoIp，但是，付费。网上有免费的GeoLiteCity.dat库，但是goaccess自身就不支持国籍-城市的分类，也不支持使用外部的IP库。

我能想到还有的办法就是用goaccess生成json，然后自己写python也好，php也好程序来加载城市的Ip库来解析地理位置。然后再生成报表。不过，这样，好像就不美了。

好消息是这个功能在ISSUE中有人提了，TODO LIST。

日期粒度太粗

日期只能粒度到天，如果需要统计一天每个小时的访问数据，就没法了。也不是没办法，你可以先grep小时的数据，然后再用goaccess解析。不过，这样，好像很挫。

好消息是这个功能在ISSUE中有人提了，TODO LIST。

所以说....TODO LIST真是个好东西，是吧。另外，本文的goaccess使用v0.7.1。

推荐文章：

nginx日志分析利器GoAccess，nginxgoaccess