卡夫卡连接消费群和普通卡夫消费群之间的分区重新平衡过程似乎有所不同

时间:2018-10-25 00:49:22

标签: apache-kafka apache-kafka-connect

我正在为 Kafka connect 做一些故障恢复测试方案,与普通消费者组相比,分区重新平衡过程确实不同。

上下文

在普通使用者组分区重新平衡中,如果我在一个使用者组中有3个使用者,并且我关闭了一个使用者,则两个运行中的旧使用者应继续运行并从已停止的使用者那里获得分配的分区。

但是,在Kafka connect中,如果我关闭了一个使用者,并且由于这个事实,Kafka connect需要遵守 tasks.max 属性。旧的运行中的消费者也被杀死,并且消费者组将引导所有全新的消费者(消费者组中的消费者ID均已更改,而我使用kafka-consumer-group --group ...进行验证)。

  1. 为什么会从停止的使用者中产生一个具有指定分区的新使用者。
  2. 此外,我不确定这个略有不同的过程是否会对性能产生潜在的影响,有人可以给我一些有关此过程的见解,还是我错过了一些配置工作。

谢谢。

0 个答案:

没有答案