卡夫卡经纪人的数量是否会影响整体运作和领导人选举

时间:2020-01-23 06:19:52

标签: apache-kafka apache-zookeeper

对于使用偶数的kafka集群是否有效,我们几乎没有混淆

当我们用6台机器构建kafka集群并尝试使用kafka Reassignment分区工具时,故事就开始了,因为kafka经纪人的余额不平衡

不幸的是,kafka重新分配分区工具未能成功重新分配分区

所以我们怀疑我们的kafka机器是偶数

是对还是错? ,要使用kafka偶数?

2 个答案:

答案 0 :(得分:0)

如前所述,official Apache Users email thread

不,Kafka集群没有Zookeeper Quorum (请参阅quroum的定义)的限制;为了选举领导人,“必须有一半以上的人同意”这一价值观。偶数是不可能的。

kafka重新分配分区工具未成功

您需要更加具体。我假设集群的其余部分都可以正常工作,那么为什么偶数成为问题?

答案 1 :(得分:0)

由于经纪人人数为“偶数”,不太可能导致重新分配失败。

一定是由于跟随者经纪人与领导者不同步,网络问题或领导者经纪人在关键时刻离线导致的。

如果在运行该工具之前所有分区都处于同步状态,则重新分配工具会很好用。

如果分区不同步或如果分区不同步,该工具通常将失败 该工具正在运行时,领导者将不参加选举。

作为最佳实践,建议在运行该工具之前确保满足以下条件:

  1. 至少有一个分区与领导者同步
  2. 领导者健康,没有选举发生。
  3. 不同步的分区未指定为重新分配的目标。