如何实现长期统计和短时记录？

Question

我们在Linux下使用Perl Catalyst和PostgreSQL开发了一个更大的数据库Web应用程序。用户可以登录并上传和下载数据文件（科学测量）。

我想知道如何实施日志记录/统计系统。

1. 我们需要查看一般访问趋势，并希望分析某些用户/ IP导致的流量，并获取某些文件或主题的访问号码。我正在考虑像RRDtool这样的东西来实现它或将总数写入另一个数据库表。我很乐意从访问数据中获取一些可视化图形： - ）

2. 此外，我们需要详细分析过去几天的活动。如果发生问题或攻击，必须理解并撤消。 IMO需要在数据库表中使用操作日志。

您能否就如何实施这些事情给我一些启发？我很乐意使用相同的系统进行日志记录和长期统计。也许我们可以在一段时间之后累积日志数据。 7天。并不是说我不知道​​怎么做，但我想听听其他人的意见。

赞赏有用的CPAN模块的提示。我们知道并且已经使用了log4perl，但这有点太详细了，无法存储~7天......

Answer 1

实际上我认为你自己回答了，RRDTool长期相当不错，我用它为公共锅炉系统的1/2小时自动仪表读数，有3年的窗口。不错的图表。

但是，我假设所有这些都在Web服务器下运行，并且上传和下载生成[例如] Apache日志文件条目，那么您有很多选项：http://httpd.apache.org/docs/current/mod/mod_log_config.html。

这意味着您可以使用Webalizer进行“常规”报告，并为详细信息编写自己动手，可能从以下开始：http://search.cpan.org/~ulpfr/Logfile-0.302/Logfile.pod

希望这有点帮助，但这是一个广泛而广泛的问题。