标签: apache-nifi data-ingestion
我正在使用Apache NiFi,以便提取我的应用程序实时日志(单个日志文件)并将其发布到Apache Kafka。 提到的应用程序会生成大量日志(每天大约50GB)。我需要摄取是实时的,所以我使用了tailfile处理器。问题是,读取文件的线程被卡住,并且在几个小时内都处于活动状态(什么都不做(不是什么也不做,但不生成流文件))。然后突然产生了一个很大的xGB流文件,所以不是很实时...
任何帮助将不胜感激。
最好的问候