Question

我们遇到一个问题，即Kafka消费者似乎没有收到发布到主题的消息。（我说出现，因为我还没有到底，我可能是错的。）

我正在使用Spring for Apache Kafka而我的消费者实际上是一个用@KafkaListener注释的方法。

此问题是间歇性的，我无法重新创建它。

有没有办法让我查看Kafka经纪人的日志或任何其他工具来帮助我找出消费者的偏差？我想要具体的证据证明我的消费者是否正在接收消息。

Answer 1

查看kafka-consumer-groups工具，该工具可用于检查消费者的偏移和滞后（消费者必须在您运行此命令时处于活动状态）。

./kafka-consumer-groups --bootstrap-server 127.0.0.1:9092 --new-consumer --describe --group console-consumer-55936

GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
console-consumer-55936         test                           0          6               6               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           1          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           2          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           3          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           4          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           5          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           6          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           7          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           8          1               1               0               consumer-1_/192.168.0.83

这应该允许您跟踪是否实际消耗了任何东西。

Answer 2

除了使用正确且完全有效的其他答案中描述的./kafka-consumer-groups之外，您还可以使用Windows GUI应用程序向您显示有关Consumer_groups及其偏移/滞后的相同信息：

http://www.kafkatool.com/download.html

Answer 3

Apache Kafka的集群管理器（以前称为Kafka Manager）显示了使用者偏移量和使用者滞后：

但是，详细视图还按分区显示了详细的偏移量：

CMAK: Cluster Manager on github

它具有许多功能，可以管理和监视多个kafka群集，我们使用了很多年，并感到非常高兴。

它正在积极开发中，并支持最新版本的kafka。

它比运行kafka命令行重，但是docker makes it much easier to setup

如何确定Kafka消费者的抵消额

3 个答案: