我有一个拥有3个经纪人的Kafka集群。配置复制:
offsets.topic.replication.factor = 3
在其中一个经纪人倒闭之前一切正常。然后,Consumer(用Scala编写)停止接收消息并开始连续生成以下消息:
2018-05-24 19:59:27 DEBUG Fetcher:425 - 分区领导者SOMETOPIC-1无法获取偏移量,等待元数据刷新
2018-05-24 19:59:27 DEBUG Fetcher:425 - 分区领导者SOMETOPIC-1无法获取偏移量,等待元数据刷新
2018-05-24 19:59:27 DEBUG NetworkClient:640 - 将元数据请求{topics = [SOMETOPIC]}发送到节点0
2018-05-24 19:59:27 DEBUG元数据:180 - 将群集元数据版本5402更新为群集(nodes = [kafka-1:9092(id:0 rack:null)],partitions = [Partition(topic) = SOMETOPIC,partition = 0,leader = none,replicas = [1,],isr = [],Partition(topic = SOMETOPIC,partition = 1,leader = none,replicas = [2,],isr = [],Partition (topic = SOMETOPIC,partition = 2,leader = 0,replicas = [0,],isr = [0,]])
但是如果我使用kafka-console-consumer来接收消息,一切都会有效。请帮忙。
答案 0 :(得分:0)
终于修好了。虽然我设置了offsets.topic.replication.factor = 3
,但是使用默认复制因子1自动创建了新主题,因此我添加了以下属性来解决我的问题:
default.replication.factor=3