Blog

Blog

PHODAL

网站nginx log分析之使用goaccess

最近无聊的时候,觉得应该分析一下Nginx的Log。

-rw-r--r--    1 fdhuang  staff   139M Dec  3 23:16 access.log

猛然间才发现原来这个文件已经有了139M了。于是,用迅雷把文件下了下来。开始寻找分析的工具,这时找到了GoAccess。

GoAccess

GoAccess是一款开源、实时,运行在命令行终端下的web日志分析工具。该工具提供快速、多样的HTTP状态统计,可以令管理员不再纠结于统计各类数据,和繁杂的指令以及一大堆管道/正则表达式说byebye。

安装GoAccess

因为是Mac OS,这么流行的工具brew一定会有的

 brew install goaccess

分析Nginx Log

运行了下

goaccess -f access.log

出来了,先看看Dashboard

Dashboard - Overall Analyzed Requests                                                                    [Active Panel: Visitors]

Total Requests  747783 Unique Visitors 73696 Referrers    26613 Log Size  138.94 MiB
Failed Requests 2028   Unique Files    49552 Unique 404   9472  Bandwidth 6.95 GiB
Generation Time 11     Excl. IP Hits   0     Static Files 1140  Log File  access.log

发现带宽已经消耗了7G!(AWS试用的总共才15G)。累计请求有747,783次,

GoAccess Hosts

接着看到了下一个数据更是惊呆了

 5 - Hosts                                                                                                       Total: 300/21766
 Top Hosts sorted by hits - [bandwidth] [time served]

31892 4.26%    5.66 MiB 106.185.49.93   |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
31350 4.19%   46.37 MiB 182.118.33.8    |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
21339 2.85%  249.11 MiB 125.88.219.97   |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
21293 2.85%  249.21 MiB 123.125.80.222  |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
21288 2.85%  249.29 MiB 180.153.197.58  |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
17061 2.28%  152.48 MiB 220.181.125.16  |||||||||||||||||||||||||||||||||||||||||||||||
13907 1.86%   25.22 MiB 188.142.102.190 ||||||||||||||||||||||||||||||||||||||

打开流量比较的两个一看:

Mozilla/5.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322) 360JK yunjiankong
Mozilla/5.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322) 360JK yunjiankong 191242
Mozilla/5.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322) 360JK yunjiankong 205152

光360的网站监控工具就花去了我近800M的带宽。

GoAccess 浏览器

下面是结果

Visitors % Name
16259 22.06% Crawlers
14786 20.06% Safari
14442 19.60% Chrome
11923 16.18% MSIE
6546 8.88% Firefox
596 0.81% Opera

于是便觉得不能愉快地玩耍,访问最多的居然是爬虫:

Visitors % Name
16259 22.06% Crawlers
7913 10.74% — Baiduspider/2.0
1531 2.08% — Baidu-YunGuanCe-Bot(ce.baidu.com
1462 1.98% — Googlebot/2.1
858 1.16% — bingbot/2.0
824 1.12% — AhrefsBot/5.0
564 0.77% — MJ12bot/v1.4.5
518 0.70% — Googlebot-Mobile/2.1
516 0.70% — YisouSpider
264 0.36% — Sogou
216 0.29% — Google

各式各样的爬虫,最多的是百度,怪不得最近的流量主要是来自百度。

结论

有意思的是发现,访问我网站很多都是用Safari,其次是Chrome,接着是IE,然后是Firefox,难道是说程序员都开始用Mac OS了么?

操作系统

看了看操作系统一栏,觉得没有出乎意料。

Visitors % Name
30466 41.34% Windows
20901 28.36% Unknown
12109 16.43% Android
5517 7.49% Macintosh
2618 3.55% Unix-like
1984 2.69% Linux

关于我

Github: @phodal     微博:@phodal     知乎:@phodal    

微信公众号(Phodal)

围观我的Github Idea墙, 也许,你会遇到心仪的项目

QQ技术交流群: 321689806

新书《全栈应用开发:精益实践》

这不是一本深入前端、后台、运维、设计、分析等各个领域的书籍。本书以实践的方式,将这一系列的领域及理论知识结合到一起,来帮助读者构建全栈Web 开发的知识体系,并辅以精益及敏捷的思想,来一步步开发Web 应用:从创建一个UI 原型到编写出静态的前端页面;从静态的前端页面到带后台的应用,并部署应用;从Web 后台开发API 到开发移动Web 应用。在这个过程中,我们还将介绍一些相辅相成的步骤:使用构建系统来加速Web 应用的开发;为应用添加数据分析工具来改进产品;使用分析工具来改善应用的性能;通过自动化部署来加快上线流程;从而帮助读者开发出一个真正可用的全栈 Web 应用。同时,我们也将帮助读者把这些步骤应用到现有的系统上,改进现有系统的开发流程。

comment

Feeds

RSS / Atom

最近文章

关于作者

Phodal Huang

Developer, Consultant, Writer, Designer

ThoughtWorks 高级咨询师

工程师 / 咨询师 / 作家 / 设计学徒

开源深度爱好者

出版有《自己动手设计物联网》、《全栈应用开发:精益实践》

联系我: h@phodal.com

微信公众号: 与我沟通

标签