我一直面临着一个问题,Kafka集群上多个主题的某些分区在isr(同步副本)集中没有领导者甚至没有副本。
特定经纪人ID的所有分区都发生了这种情况。
topic: topic1 partition: 2 leader: -1 replicas: 5 isr:
topic: topic1 partition: 8 leader: -1 replicas: 5 isr:
topic: topic1 partition: 14 leader: -1 replicas: 5 isr:
topic: topic2 partition: 1 leader: -1 replicas: 5 isr:
topic: topic2 partition: 8 leader: -1 replicas: 5 isr:
topic: topic2 partition: 15 leader: -1 replicas: 5 isr:
topic: topic3 partition: 1 leader: -1 replicas: 5 isr:
topic: topic3 partition: 8 leader: -1 replicas: 5 isr:
topic: topic3 partition: 15 leader: -1 replicas: 5 isr:
我已经尝试过复制工具手动将代理分配给这些分区,但这没有帮助。因为他们都没有在isr set。
不幸的是,这些主题的复制因素是1.但对于复制因子较高的主题,问题仍然存在。在那里,领导者已被分配到下一个首选副本,但是即使在很长时间(天)之后,腐败代理上的副本也不会移动到isr设置,并且分区的日志大小为100秒。
topic: topic4 partition: 1 leader: 6 replicas: 5,6 isr: 6
对于同一主题,领导者不是经纪人5(损坏的经纪人)的经纪人5的分区仍处于设定状态。
topic: topic4 partition: 0 leader: 4 replicas: 4,5 isr: 4,5
另一个观察结果是,损坏的代理在其INFO日志中有主题创建日志,每分钟都经常打印
[2014-12-09 13:07:27,878] INFO Topic creation { "partitions":{ "0":[ 4, 3 ], "1":[ 5, 4 ] }, "version":1 } (kafka.admin.AdminUtils$)
虽然没有在群集上创建新主题。
有没有人遇到过类似的问题?我该如何解决?
Kafka版本0.8.1