我需要以一秒的精度分析access.log

Question

我正在处理大量流量，每秒数百到数千个HTTP请求。

我需要在一段时间内以一秒的精度分析我的access.log，例如60分钟。换句话说，我想生成一个3600条的报告，显示每秒的总请求数，理想情况下每个条应该是一堆彩色的http代码（2xx，4xx，5xx）。

是否有可以生成此类报告的工具？我不想跟踪实时流量或类似的东西，只需以1秒的精度离线分析access.log的一部分。

我需要检测是否有突然的尖峰，其中交通突然从500上升到例如每秒5000个请求充斥着fastcgi应用程序套接字并导致超时。 Access.log对于那些流量非常大，并试图从中读取任何内容是一种痛苦。

Answer 1

看看awstats。它是一个免费的日志分析器我过去曾经使用它，而且非常灵活。我不知道1秒钟，你需要尝试一下。

http://awstats.sourceforge.net/

Answer 2

我刚开始使用Logstash，ElasticSearch和Kibana的组合来检查我的访问日志。通过此设置，我可以创建以下图表。它显示我的所有日​​志，一个栏是一秒钟的原木。我也能够放大和缩小图形（低至1秒的间隔）。搜索也非常快捷。

这是我（有点）遵循的教程。 http://spredzy.wordpress.com/2013/01/25/powerful-analysis-tool-using-logstash-elasticsearch-kibana/

我刚刚开始研究这个设置的功能，但我知道LogStash能够读取平面文件。