以“实时”速度重播日志文件？

Question

我开始研究一种能够近乎实时地从系统（如apache，syslog等）处理日志文件的工具。

我正在寻求使用诸如风暴/水槽/ hbase协处理器之类的工具来实现这一目标。

因为我希望能够以“完全生产速度”离线测试，我正在寻找一种工具，可以帮助我以与将系统连接到生产环境时相同的速度重放旧的生产日志文件

我一直在思考，基本上这就是我的想法：

1. 每个日志文件我使用一些参数运行该工具：
   • 哪个日志文件
   • 该行的哪一部分是时间戳
   • 时间偏移'now'
2. 然后该工具读取文件（无输出），直到看到'now + offset'。
3. 然后它开始以与日志文件中的时间戳指示的速度大致相同的速度输出行。

是否存在可以执行此类操作的现有工具？

或者是否有更好的解决方案来运行这种离线“全速”模拟？

Answer 1

我认为以下开源库（用GO编写）可能会满足您的要求： https://github.com/buger/gor/