Apache NiFi尾文件处理器不适用于大型日志文件

时间:2019-09-23 18:28:49

标签: apache-nifi data-ingestion

我正在使用Apache NiFi,以便提取我的应用程序实时日志(单个日志文件)并将其发布到Apache Kafka。 提到的应用程序会生成大量日志(每天大约50GB)。我需要摄取是实时的,所以我使用了tailfile处理器。问题是,读取文件的线程被卡住,并且在几个小时内都处于活动状态(什么都不做(不是什么也不做,但不生成流文件))。然后突然产生了一个很大的xGB流文件,所以不是很实时...

任何帮助将不胜感激。

最好的问候

0 个答案:

没有答案