将Kafka Connect的不同实例发送到不同的Kafka主题

时间:2017-01-19 16:36:11

标签: scala apache-kafka apache-kafka-connect

我尝试将分布式模式的Kafka Connnect实例的信息与一个工作者一起发送到特定主题,我在启动实例时使用的“archive.properties”文件中有主题名称。

但是,当我发送五个或更多实例时,我会在所有主题中看到这些消息合并。

我认为“解决方案”是制作地图以存储ID和主题之间的关系,但它不起作用

是否有特定的Kafka连接实现来执行此操作?

感谢。

1 个答案:

答案 0 :(得分:1)

首先,有关如何运行连接以及您正在使用哪个连接器的详细信息将非常有用。

某些连接器支持将数据发送到多个主题。例如,confluent-jdbc-sink将每个表发送到一个单独的主题。所以这可能是您正在使用的连接器的限制。

还取决于连接器和用例 - 是否需要运行多个连接器。使用JDBC连接器,每个数据库需要一个连接器,它将处理所有表。如果在同一个数据库和相同的表上运行两个连接器,则会出现重复。

简而言之,希望您的连接器提供有用的文档。

在Apache Kafka的下一个版本中,我们正在添加单个消息转换。其中一个转换可以根据事件中的数据修改目标主题 - 因此您可以使用转换来执行事件路由。