我有一个由3个单独的物理节点组成的kafka群集,每个节点分别托管1 zk
和1 broker
。我们正在使用Kafka 0.10.1.1
。主题在ZK合奏上创建,并且代理连接到ZK合奏。我的Producer
和Consumer
是spring-boot app on version 1.5.13 RELEASE
。我们有一些关于单一分区(即-Partition 0
),min.insync.replicas=2
和replication_factor=3
的主题。到目前为止,当我们检查--describe
主题时,我们发现所有副本都是同步的。 Reg Consumer Groups,我们已经看到,只有当消费者组处于活动状态时,它才会通过CLI和Kafka-Manager出现。直到这里没事。
我们在zk:2181
中添加了个人Kafka-manager
作为个人集群,以进行监控。我们看到即使consumer groups
处于不活动状态,它们也以不同的滞后值出现在某些群集中(即在动物园管理员中)。某些主题显示滞后的节点甚至都不是同一主题的领导者。当我们使用CLI进行交叉检查时,除了KMOffsetCache-<<instance-name>>
之外,使用者组都不会显示。 kafka-consumer-groups.sh --bootstrap-server ...
zk或consumer_offsets似乎未正确同步。我想了解为什么?以及如何纠正?
任何正确方向的输入都会非常有帮助!