如何有效地获取Kafka日志大小？

Question

我正在构建一个UI，我想在其中显示kafka主题的日志大小以及每个消费者已阅读的内容。我可以从zookeeper中读取消费者抵消。获取主题日志大小的有效方法是什么？我可能需要每隔10秒更新一次详细信息。 我可以从jmx获取日志大小或使用简单的消费者和最新的偏移时间。这是最好的选择还是有其他有效的选择吗？

Answer 1

我认为没有任何直接机制可以找到这一点。 但是要找出给定分区的数据总大小，您可以根据 server.properties 中配置的 logs.dir 转到文件系统，并读取每个分区目录大小

要查找消费者偏移读取大小，可能需要根据配置的消息大小和偏移记录计算近似数。

但是，这并没有给出您正在寻找的确切尺寸。

Answer 2

您应该查看KafkaOffsetMonitor，以便轻松查看每个消费者的偏移量，日志大小和延迟的图表。