如何通过Flume将文件加载到Kafka Producer？

Question

我有一个日志文件，我试图通过Flume代理推送到Kafka Producer。我可以直接从本地计算机将文件加载到Kafka生产者。但我的用例是使用Flume代理推送到Kafka。

我已经安装了Flume，并在我的localhost @

中启动并运行

但是，如何通过Flume将该数据文件传递给Kafka？

真的很感激任何帮助。感谢!!!

Answer 1

您必须修改 FLUME SINK 才能将数据转储到 KAFKA BROKER 。
要完成这项工作，您必须在 FLUME SINK 中加入 KAFKA PRODUCER ，这将成为 KAFKA SINK 。

FLUME 还提供版本1.6中的内置KAFKA-SINK。