在水槽中,我如何获取多个动态实时文件

时间:2014-08-21 11:53:22

标签: flume

我有一个程序,每分钟运行一次并使用STRACE命令同时生成多个日志文件。 例如,在第一次运行时 - 它可能会开始跟踪10个进程,并将日志文件名称作为唯一的PIDS,这将继续运行直到整个stracing完成。同时,第二次运行将开始,它可能会开始跟踪更多的进程ID。 现在我想使用flume将所有这些STRACE日志连续传输到另一台服务器。 我尝试使用spool但是,因为我有动态多个实时文件,所以这是一个糟糕的选择。 我使用exec(tail)但是如上所述,文件名是多个且非常动态,所以无法找出配置源的最佳方法。 Apprecite建议。感谢。

1 个答案:

答案 0 :(得分:0)

我遇到的类似情况。

当时,

使用了Exec Source,并且自定义程序是作为Exec Source的命令开发的。 该程序监视特定目录,如果使用regexpr检测到适当的文件名,则创建线程以读取它并将内容写入stdout,如tail。

我也很好奇是否有更简单的方法来解决这类问题。 :)