具有多个连接器和一个主题的分布式Kafka Connect

Question

Kafka Connect群集在分布式模式下的偏移管理的行为是什么，该模式运行多个连接器并侦听同一组主题（或一个主题）？

因此，在分布式模式下，Kafka Connect将偏移信息存储在Kafka中，该偏移将由集群中的工作人员读取并提交。如果我在那个Kafka Connect集群中有多个正在运行的连接器正在侦听同一主题，会发生什么情况？分区的偏移量是否在所有连接器中都相同，还是每个连接器在分区上具有不同的偏移量？

Answer 1

在后台，接收器连接器具有属于消费者组的消费者（通常带有group-id="connect-connectorName"）。据我所知，在同一使用者组中不能有两个接收器连接器（在同一使用者组中没有两个连接器是没有意义的-如果需要，您可以简单地增加任务数）。因此，在您的用例中，当收到一条消息时，它将由两个连接器处理，并且两个不同的偏移量将保留在__consumer_offsets主题中（每个连接器/ consumerGroup一个）。