关于如何使用python检索和分析服务器日志的想法？

Question

首先，这个桌面应用程序真的是给自己一个学习python和gui如何工作的借口。

我试图帮助我的客户想象他们正在经历的带宽，发生的时间和访问者的位置。所有这些都将通过图表或任何最方便的方式显示。 （在路上，我想添加cpu / mem使用）

我想最简单的方法是让应用程序通过sftp连接，下载指定的日志，然后使用正则表达式过滤必要的信息。

我在考虑使用：

Python 2.6
Pyside
Paramiko

开始。我正在考虑为sftp部分扭曲，但我现在可能保持简单，这将是一个更好的选择。

这看起来是对的吗？我应该尝试使用sftp吗？或者我应该尝试与我的站点中的某个子域进行交互以将日志推送到客户端？ （即app.mysite.com）

正则表达式如何解析日志？

Answer 1

sftp或炮轰rsync似乎是检索日志的合理方法。至于解析它们，正则表达式是大多数人倾向于使用的。但是，也有其他方法。例如：

• Parse Apache logs to SQLite database
• Using pyparsing to parse logs。这个是解析一种不同类型的日志文件，但这种方法仍然很有趣。
• Parsing Apache access logs with Python。作者实际上写了一个小解析器，可以在apachelogs模块中找到。

你明白了。