具有多个共享相同配置的组的分布式Kafka源连接器

时间:2019-09-25 17:38:51

标签: apache-kafka apache-kafka-connect

我有两个Kafka连接器节点,分别是Node-A和Node-B。

我在每个节点中运行一个分布式工作者(指向相同的Kafka集群)。

组ID和客户端ID在两个分布式工作器中都是唯一的。

使用两个节点上的http POST请求成功创建了连接器任务。连接器任务会产生同一主题的消息。

注意: 我了解分布式工作人员应该具有用于​​分配任务的相同组ID。但是我正在针对特定案例做上述实验。

我使用来自Node-A的http GET请求,例如http://localhost:8083/connectors

http响应(来自Node-A)显示从 两者 节点(即从Node-A和Node-B)创建的连接器,而我希望响应应该只产生从节点A创建的连接器,而不产生从节点B创建的连接器。

我想知道这两个分布式工作人员之间有什么共享,我该如何覆盖这种共享?

1 个答案:

答案 0 :(得分:1)

  

http响应(来自Node-A)显示从两个节点(即从Node-A和Node-B)创建的连接器

两个小组的声音都共享相同的配置和状态主题。

status.storage.topic
offset.storage.topic
config.storage.topic

根据文档,建议您阅读每个主题应具有的设置的描述,并手动创建主题

https://kafka.apache.org/documentation/#connect_running