Apache Kafka：如何找出某个主题的消费者群体？

Question

我正在使用Scala中的Spark流式处理Kafka。我需要从中获取消息的多个主题。为此，我需要输入每个主题的消费者群体。

我尝试过以下命令：

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group group_name

为此，我需要提及消费者群体，并检查我的主题是否属于这个群体。但我不了解某些主题的消费者群体价值。

那么，是否有任何命令或编程方式为特定主题寻找消费者群体？

对此的任何帮助将不胜感激。 谢谢

Answer 1

您可以通过指定主题来阅读各种主题的数据。您只需创建主题地图即可。请参阅以下链接

https://www.tutorialspoint.com/apache_kafka/apache_kafka_consumer_group_example.htm

Answer 2

kafka没有提供Command / API来列出使用指定主题的使用者组。相反，您可以使用yahoo开发的工具来管理kafka集群：Yahoo Kafka Manager。安装此软件并将yahoo kafka manager指向您的kafka群集后，您可以查看使用指定主题的消费者群组。

Answer 3

for i in `kafka-consumer-groups --list --bootstrap-server localhost:9092`; do echo $i; (kafka-consumer-groups --describe --bootstrap-server localhost:9092 --group $i 2>&1| grep mytopic); done

这会花费一些时间，因为它会检查所有主题，但会告诉哪些消费者群体在使用该主题。