kafka分区重新平衡

Question

让我们假设，有5个消费者的消费者组订阅了一个具有10个分区的主题。现在，如果10个分区添加到同一个话题。它会触发再平衡。为什么kafka会重新分配以前分配的分区，为什么它不能仅仅在使用者组之间分配新创建的分区。

Answer 1

由于Kafka分区分配器当前的工作方式，消费者重新平衡始终是“停止世界”操作，在此过程中，首先从消费者释放所有分区再重新分配。

也就是说，有StickyAssignor试图保留先前的分配，而默认分配器RangeAssignor没有提供保证。

要使用StickyAssignor，请在“使用者”配置中将partition.assignment.strategy设置为org.apache.kafka.clients.consumer.StickyAssignor。