想要处理大型的appengine日志文件

时间:2012-03-07 08:43:01

标签: sql database google-app-engine logfiles

我在谷歌应用引擎上运行我的应用程序.....我的日志文件很大,因为流量很大 日志文件如下所示

122.167.221.243 - - [06/Mar/2012:01:11:29 -0800] "GET /Bengali/enable HTTP/1.1" 404 0 "http://www.epicsearch.in/" -
---Similar rows ---- below

我想处理它们以获得有意义的统计数据,例如否。唯一的IP地址或否。给定页面上的点击量.... 我是初学者,所以不知道该怎么做!!!!!

1 个答案:

答案 0 :(得分:1)

假设您还没有这样做,那么您要做的第一件事就是download your App Engine logs使用appcfg.py实用程序,例如:

appcfg.py --num_days=5 request_logs appname/ logs.txt

下载后,您必须将脚本或程序放在解析日志中,以获取认为有用的任何信息。

This Stack Overflow问题可能是一个很好的起点 - 实际上任何体面的脚本语言都应该能够为你充分解析这些日志。