如何在非常大的日志中快速查找出现

Question

假设我们在机器内部有非常大的访问日志，其中 IP ，内存很小（约2 Mb）。

任务是在晚上启动一些可以存储IP的实用程序（perl perl）。早上我们想在1秒内回答问题：＆＃34;夜间日志中是否有 a.b.c.d ？ ＆＃34;

• 我们可以用于此任务的数据结构是什么？
• 什么算法？

当然简单的grepping日志会非常慢，这不是我们想要的。

谢谢！

Answer 1

你可能想要这样的东西：

https://papertrailapp.com/