Question

如何获取给定主题的当前偏移量，分区偏移量或记录计数？它不一定是完美的，但我想对Kafka主题中的数据量有个大致了解。

Answer 1

为了获取主题分区的偏移量，可以使用kafka.tools.GetOffsetShell

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic your_topic_name --time -1

如果要获取特定组的最新偏移量，也可以使用：

./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker  --topic your_topic_name--zookeeper localhost:2181 --group your_group_id

为了统计主题中的条目，您可以使用整个主题（当您停止使用方时，将报告使用的消息总数）。或者，您可以使用

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell  --broker-list <broker>:  <port> --topic <topic-name> --time -1 --offsets 1 | awk -F  ":" '{sum += $3} END {print sum}'

Kafka：什么是当前主题的偏移量或记录数？

1 个答案: