Kafka 0.8中经纪人的分区重新平衡

Question

Kafka 0.8的相对稀缺的文档没有提到平衡现有主题，分区和经纪人副本的预期行为。

更具体地说，经纪人到达时的预期行为以及经纪人（领导与否）的崩溃是什么？

感谢。

Answer 1

我前一段时间测试了这两个案例而不是在重载下。我有一个生产者同步发送10k消息（只是一个小字符串）到一个主题，复制因子为2，有2个分区，在2个代理的集群上。有2个消费者。每个组件都部署在单独的计算机上。我观察到的是：

• 正常运行：代理1是分区1上的领导者，是分区2上的副本。代理2是分区2上的领导者和分区1上的副本。将代理3引入群集不要自动触发分区上的重新平衡。

• 经纪人复兴（崩溃而非重启）：重新平衡对生产者和消费者是透明的。重新启动代理首先复制日志，然后使其自身可用。

• 在经纪人崩溃（领导与否）：由任何一个经纪人的 kill -9 模拟。生产者和消费者被冻结，直到被杀死的经纪人的ZK中的短暂节点到期。之后，操作正常恢复。