flume:它是否支持在一个目录中收集多个附加文件?

时间:2017-09-24 12:30:10

标签: flume flume-ng

案件在我的目录中,我有多个同时附加的文件,例如:

error.log
info.log
error.log.1
info.log.1
...

正在追加error.log和info.log。 Flume有一个TailDir选项,它从修改时间读取文件。所以在这种情况下,它会起作用吗?结果如果:

append error.log
append info.log
append error.log
append info.log
....

1 个答案:

答案 0 :(得分:0)

Taildir似乎正在寻找,是的。此源将检测附加到现有文件的新行:

  

观察指定的文件,并在检测到新行附加到每个文件后几乎实时拖尾。

关于行的顺序,是的,它是基于时间的:

  

文件将按照修改时间的顺序使用。将首先使用具有最早修改时间的文件。

它只适用于文本文件(没有二进制文件),逐行阅读:

  

目前此源不支持拖尾二进制文件。它逐行读取文本文件。

这些行将作为事件放在通道中,然后根据您的接收器或接收器,数据将以某种方式消耗,存储在某处等等。