python解析大型日志以提取某些模式

Question

我有大型系统日志（最大1GB），我需要解析它以提取某些东西。

最初我写了python代码逐行读取文件（使用open）花了很长时间

我了解了mmap并使用了mmap，大约花了5分钟。

（我已预编译正则表达式以节省时间）

有没有更好的方法，所以需要更少的时间？ （我使用的是python 2.7.3 32bit）

Answer 1

您可能希望awk用于此类事情，或多或少是它的目的。