kafka消息监控以显示发布或消费的实际消息

时间:2016-08-19 04:58:19

标签: apache-kafka kafka-producer-api

我在我的本地服务器上安装了kafka,并且通过服务器中运行的其他一些应用程序生成器正在通过kafka我向zookeeper服务器内的代理发布消息我可以很容易地看到kafka的健康状况,其中显示了我的kafka服务器a中创建的所有主题,主题内部的抵消等等,因此只有zookeeper无法显示的内容才是消息在个别主题内部,所以有人推荐kafka-manager工具,我安装并运行它,它工作正常,它显示了我的kafka服务器的大量信息,但它仍然无法显示真实我的kafka服务器内的各个消费者发布或使用的消息,所以我的问题是,是否有方法/工具/代码来查找已发布或消费的消息,我的意思是除此之外{{1}或者我在同一个kafka-manager内安装了一些插件,这样它也会显示相应的消息。谢谢!

1 个答案:

答案 0 :(得分:1)

Kafka经纪人无法告诉您给定主题的特定消费者已消耗了多少消息。 Kafka经纪人唯一知道的是消费者的当前日志偏移量以及日志的当前最大偏移量。但是,它不能告诉您在消费者实际收到的当前偏移量之前有多少消息,因为它不会在此周围保留计数器,并且消费者定义其自己的初始位置(以及能够寻找日志中的各个位置)。

您可以使用$KAFKA_HOME/bin/kafka-consumer-offset-checker.sh脚本获取这两个数字。