完全集群重新启动后重新分配Apache Kafka分区

Question

我有一个由3个节点组成的Kafka集群。我想将2个以上的节点添加到群集，以使其成为5个节点的群集。 添加节点后，我将进行完全集群重新启动。即一次关闭所有kafka和zookeeper服务，然后在5个节点中启动所有服务。

我想知道 1. FULL CLUSTER RESTART是否将主题分区均匀地分布在5个节点上？ 还是需要运行分区重新分配工具kafka-reassign-partitions.sh？ 2. Kafka没有内部机制来自动重新分配分区，除非运行kafka-reassign-partitions.sh

请澄清。谢谢。

Answer 1

否，它不会重新平衡节点之间的分区。您将需要手动执行此操作。当新的消费者加入一个消费者群体时，Kafka将重新平衡消费者，但这完全不同。

如果您正在运行完整的Confluent堆栈，则可以使用confluent-rebalance工具进行操作。