实时日志解析

时间:2015-12-18 07:40:38

标签: logging real-time high-load

我想编写一个实时解析日志文件的工具。日志文件可以非常快速地写入,例如每秒~10k行。我只需要获取每一行,然后执行一个正则表达式并将结果写入DB。由于速度的原因,无法通过完全读取文件来完成,所以我需要替代像tail -f这样的东西。 请告诉我,如何,并使用什么技术可以做到这一点?

P.S。抱歉英语不好。

1 个答案:

答案 0 :(得分:0)

您可以将日志存储在RAM分区中,log-rotate限制为512MB。 所以你会受到RAM高速的限制。

如果你指定哪个应用程序生成你的日志,我可以告诉你更多。 您是否尝试过http://goaccess.io/