如何每天监控Kafka主题中的邮件数量？

Question

我有一个主题为Kafka的集群，每天可以接收数千条消息，并且我想查看每个日期该主题中有多少条消息。我正在使用JMX导出器来获取一些指标，并且目前可以看到该主题中的邮件发送率，但是不知道如何解决其他问题。

这是我用来获取每秒消息量的公式： sum without(instance)(rate(kafka_server_brokertopicmetrics_messagesin_total{job="kafka",topic!=""}[5m]))

Answer 1

不确定您对可以使用和不能使用哪些工具有什么样的限制。如果您愿意使用Java客户端，则可以创建一个KafkaConsumer（没有group.id），然后创建assign到您感兴趣的主题的所有分区，然后两次使用offsetsForTimes方法（一次在所讨论的一天的开始，一次在结束时）。这将为您提供这两个时间点主题中每个分区的偏移量，您可以利用它们之间的差异。