为Kafka Connect创建CSV连接器

Question

我打算编写自己的Kafka connect CSV连接器，该连接器将从CSV文件中读取数据并将数据写入主题。数据应以JSON形式写入主题。

我还遇到了 kafka-connect-spooldir 插件。我不想用这个自己写。

有人可以建议我如何为该连接器创建连接器吗？

Answer 1

Kafka官方文档中有一个section on Connector development，所以这可能是最好的第一站。

Kafka还随附文件连接器（源和接收器）。看一下代码：https://github.com/apache/kafka/tree/trunk/connect/file/src/main/java/org/apache/kafka/connect/file

为您的用例修改这些内容应该不太困难。

最后，正如您提到的，已经有可以读取CSV文件且为开源的连接器。因此，如果您坚持使用某些东西，可以查看他们的操作方式。