我正在为 Kafka connect 做一些故障恢复测试方案,与普通消费者组相比,分区重新平衡过程确实不同。
上下文
在普通使用者组分区重新平衡中,如果我在一个使用者组中有3个使用者,并且我关闭了一个使用者,则两个运行中的旧使用者应继续运行并从已停止的使用者那里获得分配的分区。
但是,在Kafka connect中,如果我关闭了一个使用者,并且由于这个事实,Kafka connect需要遵守 tasks.max 属性。旧的运行中的消费者也被杀死,并且消费者组将引导所有全新的消费者(消费者组中的消费者ID均已更改,而我使用kafka-consumer-group --group ...
进行验证)。
谢谢。