如何设计Sink和Source的Kafka Connect

时间:2016-11-14 06:43:33

标签: apache-kafka apache-kafka-connect

我正在开发一个Kafka-Connector,它订阅一个主题,转换消息,将转换后的消息推回到另一个主题。

到目前为止,我将它作为update类实现,每个任务执行ETL,实例化发布者对象,将消息写回另一个主题。

是否有更清洁的方式来实施它?我相信这是一个常见的用例,连接器既是接收器也是源。

1 个答案:

答案 0 :(得分:3)

这不是Kafka Connect的基本用例。如果您已经使用Kafka 0.10.x,那么新的Kafka Streams API就是为了这类事情而创建的。