我们有( 3台kafka机器)
kafka经纪人编号-( 101,102,103 )
ambari版本-2.6.1
hadoop版本2.6.5
29个datanode机器
3台日记本机器(主机)
当我们运行以下命令时
kafka-topics.sh --zookeeper 10.231.23.45:2181 –describe
我们看到了领导者和复制品的描述
但是这里出了问题,我们每个主题只能看到两名负责人
在我们的案例中,主题名称- MLK_PLW_QA ,但所有主题的情况相同
Topic:MLK_PLW_QA PartitionCount:100 ReplicationFactor:3 Configs:retention.bytes=9239504949
Topic: MLK_PLW_QA Partition: 0 Leader: 102 Replicas: 102,101,103 Isr: 101,102,103
Topic: MLK_PLW_QA Partition: 1 Leader: 102 Replicas: 103,102,101 Isr: 101,102
Topic: MLK_PLW_QA Partition: 2 Leader: 101 Replicas: 101,103,102 Isr: 101,102,103
Topic: MLK_PLW_QA Partition: 3 Leader: 102 Replicas: 102,103,101 Isr: 101,102,103
Topic: MLK_PLW_QA Partition: 4 Leader: 101 Replicas: 103,101,102 Isr: 101,102
Topic: MLK_PLW_QA Partition: 5 Leader: 101 Replicas: 101,102,103 Isr: 101,102,103
Topic: MLK_PLW_QA Partition: 6 Leader: 102 Replicas: 102,101,103 Isr: 101,102,103
Topic: MLK_PLW_QA Partition: 7 Leader: 102 Replicas: 103,102,101 Isr: 101,102
我必须说这种情况不会在几天前出现,我们看到所有领导者101、102、103(摘自kafka-topics.sh --zookeeper 10.231.23.45:2181 –describe)
经纪人ID-103未显示为领导者的原因是什么?
注意-所有kafka经纪人服务正在运行(我们可以从ambari gui中看到)
答案 0 :(得分:1)
一种可能性是,代理ID为103的节点可能崩溃/停止或关闭了一段时间。因此,集群进行了重新平衡,并从可用节点中选择了新的领导者。即使现在经纪人103还活着,集群控制器也没有改变主题的领导地位来优化计算。