如何在Java中将Kafka connect与Kafka producer集成在一起,以便可以实时读取CSV文件?我很难找到与此相关的任何来源。
现在,我正在使用scala-ide运行简单的Kafka生产人员类,但不知道如何在Kafka connect中使用它。
答案 0 :(得分:1)
已经存在用于读取CSV文件的Kafka Connect连接器:https://github.com/jcustenborder/kafka-connect-spooldir。
Yuo可以在此处查看其运行示例:https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/
免责声明:我写了以上文章,并在Confluent的博客上发表文章
答案 1 :(得分:0)
Kafka Connect已经有一个内置的生产者。您只需要使用正确的连接器插件即可。要读取CSV文件,应使用Kafka的FileStreamSource连接器。您可以在独立模式下启动Kafka Connect(请参阅Kafka docs)并配置连接器。属于Kafka的示例config files应该可以帮助您入门。
答案 2 :(得分:0)
另一个Kafka Connect插件可读取CSV文件:https://github.com/streamthoughts/kafka-connect-file-pulse
希望这个项目可以帮助人们寻找类似的解决方案。
免责声明:我是该项目的贡献者之一