未从Zookeeper发现活跃消费者

时间:2019-11-11 07:09:52

标签: apache-kafka apache-zookeeper

我对apache kafka并不陌生,我已经在自己部署的kubernetes集群上与zookeeper一起建立了kafka经纪人。 (2个单独的豆荚)

没有明显的错误日志,并且一切正常,包括:

  • 创建主题
  • 通过bin / kafka-console-producer.sh
  • 产生消息
  • 通过bin / kafka-console-consumer.sh订阅(消费)消息
  • 在zookeeper CLI中列出主题(ls / brokers / ids)

除了:

当我尝试在Zookeeper CLI中列出活动的使用者或在监视工具中查看活动的使用者时,我也得到空的结果。(虽然我正在运行上面描述的使用者会话)

自从我尝试以下操作以来,zookeeper和kafka经纪人之间的集成似乎可以工作:

[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics
[topic1, topic2] 
[zk: localhost:2181(CONNECTED) 2] ls /consumers
[] 

我错过了什么吗?

1 个答案:

答案 0 :(得分:0)

消费数据不再存储在Zookeeper中(从0.9开始)。现在,消费者组数据直接存储在Kafka中。

要检查使用者组的状态,应使用kafka-consumer-groups.sh工具。例如:

./bin/kafka-consumer-groups.sh --bootstrap-server [HOST:PORT] --group [GROUP]

请注意,只有属于偏移量的组中的使用者是可见的。默认情况下,kafka-console-consumer.sh不会。您需要指定--group [GROUP]才能启用它。