Question

我有一个将消息记录到文件的进程。

我想实现另一个解析这些日志的进程（在Python中）（当它们被写入文件时），过滤我感兴趣的行，然后根据第一个进程的状态执行某些操作。

我想知道如果在Python中有一个类似这样的库，我会继续自己写一些东西。

此外，有关如何实现类似Python的实现的想法将不胜感激。

感谢。

Answer 1

C程序通常会寻找当前位置来清除任何“文件结束”标志。但是作为@9000 correctly pointed out，python显然会处理这个，所以你可以重复读取同一个文件，即使它已经到达文件末尾。

但你可能不得不照顾不完整的线条。如果您的应用程序将其日志写入碎片，那么您需要确保处理整行，而不是那些碎片。以下代码将实现：

f = open('some.log', 'r')
while True:
    line = ''
    while len(line) == 0 or line[-1] != '\n':
        tail = f.readline()
        if tail == '':
            time.sleep(0.1)          # avoid busy waiting
            # f.seek(0, io.SEEK_CUR) # appears to be unneccessary
            continue
        line += tail
    process(line)

Answer 2

无需运行tail -f。纯Python文件应该可以工作：

with open('/tmp/track-this') as f:
  while True:
    line = f.readline()
    if line:
      print line

这件事几乎与tail -f完全一样。通过在另一个终端中运行来检查它：

echo "more" >> /tmp/track-this
# alt-tab here to the terminal with Python and see 'more' printed
echo "even more" >> /tmp/track-this

在运行Python代码段之前，不要忘记创建/tmp/track-this。

解析并采取适当的行动取决于您。可能需要在单独的线程/进程中采取长时间的操作。

停止条件也取决于您，但是^C可以正常工作。

Answer 3

感谢大家的回答。我也发现了这一点。 http://www.dabeaz.com/generators/follow.py

Python解析日志文件以实时提取事件

3 个答案: