Kafka-Manager显示不活动的消费者组和不正确的滞后

时间:2018-07-13 10:00:12

标签: apache-kafka apache-zookeeper lag spring-kafka kafka-topic

我有一个由3个单独的物理节点组成的kafka群集,每个节点分别托管1 zk1 broker。我们正在使用Kafka 0.10.1.1。主题在ZK合奏上创建,并且代理连接到ZK合奏。我的ProducerConsumerspring-boot app on version 1.5.13 RELEASE。我们有一些关于单一分区(即-Partition 0),min.insync.replicas=2replication_factor=3的主题。到目前为止,当我们检查--describe主题时,我们发现所有副本都是同步的。 Reg Consumer Groups,我们已经看到,只有当消费者组处于活动状态时,它才会通过CLI和Kafka-Manager出现。直到这里没事。

我们在zk:2181中添加了个人Kafka-manager作为个人集群,以进行监控。我们看到即使consumer groups处于不活动状态,它们也以不同的滞后值出现在某些群集中(即在动物园管理员中)。某些主题显示滞后的节点甚至都不是同一主题的领导者。当我们使用CLI进行交叉检查时,除了KMOffsetCache-<<instance-name>>之外,使用者组都不会显示。 kafka-consumer-groups.sh --bootstrap-server ...

zk或consumer_offsets似乎未正确同步。我想了解为什么?以及如何纠正?

任何正确方向的输入都会非常有帮助!

0 个答案:

没有答案