$ kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
Note: This will not show information about old Zookeeper-based consumers.
$ kafka-consumer-groups.sh --zookeeper localhost:2181 --list
Note: This will only show information about consumers that use ZooKeeper (not
those using the Java consumer API).
console-consumer-13585
$
更准确地说,仅列出了一个消费群体,而通过Kafka Tool看到的实际数量要大得多。除了通过issue.apache.org打开Jira票证之外,如何解决该问题?也许实际上这不是缺陷,但我做错了什么?当我尝试描述列出的内容时,出现了一些错误:
$ kafka-consumer-groups.sh --zookeeper localhost:2181 --group console-
consumer-13585 --describe
Note: This will only show information about consumers that use ZooKeeper
(not those using the Java consumer API).
Error: Executing consumer group command failed due to
org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode =
NoNode for /consumers/console-consumer-13585/ids
$
在使用Kafka工具时,通常会显示相同的消费群体,而不会出现明显的问题。
我看到IanVaughan在这里报道了类似的问题: https://github.com/kafkaex/kafka_ex/issues/311 但我看不到分辨率。我正在使用kafka_2.11-1.1.0
因此,通过kafka-consumer-groups.sh --bootstrap-server列出的清单可能会受到影响,因此该命令不会返回任何内容。另外,由于__consumer_offsets主题中的问题记录/消息始终存在,因此无法通过压缩或删除日志清除策略轻松解决该问题。我在互联网上的任何地方都找不到解决此问题的方法。我不知道问题是否仅在于持久地保留不必要和不活跃的消费者群体,还是会导致更严重的问题。因此,我请问将这个问题标记为“已经回答”的主持人,以解释我们在谈论什么答案,或者删除该标记。