检查Kafka主题的订阅者

Question

我试图检查订阅了“ foo”主题的使用者。我没有卡夫卡消费者信息。无论如何，我们可以通过“ foo”主题检查正在消费的消费者数量吗？

Answer 1

对于消费者组成员，您始终可以使用kafka-consumer-groups脚本（例如， https://kafka.apache.org/documentation/#basic_ops_consumer_lag

但是在一般情况下，对于不是 CG的消费者，这是不可能的-基本上每个消费者都会定期向经纪人发送FetchRequest，经纪人只是回信。 / p>

为此，极端过度的解决方案是捕获代理与客户端之间的流量并解析有效负载（使用http://kafka.apache.org/protocol.html#The_Messages_Fetch）。每个提取请求都包含client-id，可用于标识使用者。