kafka +领导者和副本的描述领导者之一不存在

时间:2019-01-16 13:08:04

标签: apache-kafka

我们有( 3台kafka机器

kafka经纪人编号-( 101,102,103

ambari版本-2.6.1

hadoop版本2.6.5

29个datanode机器

3台日记本机器(主机)

当我们运行以下命令时

kafka-topics.sh --zookeeper 10.231.23.45:2181 –describe

我们看到了领导者和复制品的描述

但是这里出了问题,我们每个主题只能看到两名负责人

在我们的案例中,主题名称- MLK_PLW_QA ,但所有主题的情况相同

Topic:MLK_PLW_QA    PartitionCount:100  ReplicationFactor:3 Configs:retention.bytes=9239504949
    Topic: MLK_PLW_QA   Partition: 0    Leader: 102 Replicas: 102,101,103   Isr: 101,102,103
    Topic: MLK_PLW_QA   Partition: 1    Leader: 102 Replicas: 103,102,101   Isr: 101,102
    Topic: MLK_PLW_QA   Partition: 2    Leader: 101 Replicas: 101,103,102   Isr: 101,102,103
    Topic: MLK_PLW_QA   Partition: 3    Leader: 102 Replicas: 102,103,101   Isr: 101,102,103
    Topic: MLK_PLW_QA   Partition: 4    Leader: 101 Replicas: 103,101,102   Isr: 101,102
    Topic: MLK_PLW_QA   Partition: 5    Leader: 101 Replicas: 101,102,103   Isr: 101,102,103
    Topic: MLK_PLW_QA   Partition: 6    Leader: 102 Replicas: 102,101,103   Isr: 101,102,103
    Topic: MLK_PLW_QA   Partition: 7    Leader: 102 Replicas: 103,102,101   Isr: 101,102

我必须说这种情况不会在几天前出现,我们看到所有领导者101、102、103(摘自kafka-topics.sh --zookeeper 10.231.23.45:2181 –describe)

经纪人ID-103未显示为领导者的原因是什么?

注意-所有kafka经纪人服务正在运行(我们可以从ambari gui中看到)

1 个答案:

答案 0 :(得分:1)

一种可能性是,代理ID为103的节点可能崩溃/停止或关闭了一段时间。因此,集群进行了重新平衡,并从可用节点中选择了新的领导者。即使现在经纪人103​​还活着,集群控制器也没有改变主题的领导地位来优化计算。