找不到主题和分区的Kafka Leader

时间:2014-12-09 07:44:44

标签: apache-kafka clj-kafka

我一直面临着一个问题,Kafka集群上多个主题的某些分区在isr(同步副本)集中没有领导者甚至没有副本。

特定经纪人ID的所有分区都发生了这种情况。

topic: topic1   partition: 2        leader: -1  replicas: 5 isr:   
topic: topic1   partition: 8        leader: -1  replicas: 5 isr:  
topic: topic1   partition: 14   leader: -1  replicas: 5 isr:  
topic: topic2   partition: 1        leader: -1  replicas: 5 isr:  
topic: topic2   partition: 8        leader: -1  replicas: 5 isr:  
topic: topic2   partition: 15   leader: -1  replicas: 5 isr:  
topic: topic3   partition: 1        leader: -1  replicas: 5 isr:  
topic: topic3   partition: 8        leader: -1  replicas: 5 isr:  
topic: topic3   partition: 15   leader: -1  replicas: 5 isr: 

我已经尝试过复制工具手动将代理分配给这些分区,但这没有帮助。因为他们都没有在isr set。

不幸的是,这些主题的复制因素是1.但对于复制因子较高的主题,问题仍然存在。在那里,领导者已被分配到下一个首选副本,但是即使在很长时间(天)之后,腐败代理上的副本也不会移动到isr设置,并且分区的日志大小为100秒。

topic: topic4   partition: 1    leader: 6   replicas: 5,6   isr: 6

对于同一主题,领导者不是经纪人5(损坏的经纪人)的经纪人5的分区仍处于设定状态。

topic: topic4   partition: 0    leader: 4   replicas: 4,5   isr: 4,5

另一个观察结果是,损坏的代理在其INFO日志中有主题创建日志,每分钟都经常打印

[2014-12-09 13:07:27,878] INFO Topic creation { "partitions":{ "0":[ 4, 3 ], "1":[ 5, 4 ] }, "version":1 } (kafka.admin.AdminUtils$)

虽然没有在群集上创建新主题。

有没有人遇到过类似的问题?我该如何解决?

Kafka版本0.8.1

0 个答案:

没有答案