检查Kafka主题在一天内消耗了多少事件？

Question

在时间窗口内检查Kafka主题中应用程序消耗了多少事件的最佳方法是什么？

目前我这样做：

$ ./bin/kafka-console-consumer.sh --zookeeper zookeeper:2181 --topic topic --from-beginning | grep -i '2018-05-29' > kafka.out
$ wc -l kafka.out

一些问题：

1. 它需要某种时间戳在有效载荷中（这是 好的，在这种情况下）
2. 它从第一个偏移开始，所以你需要 等待一段时间来填充文件，具体取决于吞吐量 您的主题

有更好的方法吗？ 最好是命令行，因为它用于ad-hoc分析。

我正在使用Kafka 0.10，但对于较新版本的任何答案也很有用。

由于

Answer 1

目前还不清楚您是想从经纪人或消费者那里找到这些信息。

如果消费者方面没问题，您可以检查以下指标：

kafka.consumer:type=consumer-fetch-manager-metrics,client-id="{client-id}"

它有一个records-consumed-total属性，表示消费者实例收到的记录数。