使用Kafka Connect实时读取CSV文件

时间:2018-09-17 10:53:58

标签: java apache-kafka kafka-producer-api apache-kafka-connect

如何在Java中将Kafka connect与Kafka producer集成在一起,以便可以实时读取CSV文件?我很难找到与此相关的任何来源。

现在,我正在使用scala-ide运行简单的Kafka生产人员类,但不知道如何在Kafka connect中使用它。

3 个答案:

答案 0 :(得分:1)

已经存在用于读取CSV文件的Kafka Connect连接器:https://github.com/jcustenborder/kafka-connect-spooldir

Yuo可以在此处查看其运行示例:https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/


免责声明:我写了以上文章,并在Confluent的博客上发表文章

答案 1 :(得分:0)

Kafka Connect已经有一个内置的生产者。您只需要使用正确的连接器插件即可。要读取CSV文件,应使用Kafka的FileStreamSource连接器。您可以在独立模式下启动Kafka Connect(请参阅Kafka docs)并配置连接器。属于Kafka的示例config files应该可以帮助您入门。

答案 2 :(得分:0)

另一个Kafka Connect插件可读取CSV文件:https://github.com/streamthoughts/kafka-connect-file-pulse

希望这个项目可以帮助人们寻找类似的解决方案。


免责声明:我是该项目的贡献者之一