当Kafka消费者应用程序启动并运行时,我们可以使用kafka-consumer-groups.sh来描述和检索偏移状态。
但是,如果应用程序关闭,则该命令仅显示该应用程序处于REBALANCING状态。
即使应用程序未启动并运行,是否有办法仅查看特定消费者群体的滞后时间?
例如,我想要这个输出
GROUP|TOPIC|PARTITION|CURRENT-OFFSET|LOG-END-OFFSET|LAG
hrly_ingest_grp|src_hrly|4|63832846|63832846|0
hrly_ingest_grp|src_hrly|2|38372346|38372346|0
hrly_ingest_grp|src_hrly|0|58642250|58642250|0
hrly_ingest_grp|src_hrly|5|96295762|96295762|0
hrly_ingest_grp|src_hrly|3|50602337|50602337|0
hrly_ingest_grp|src_hrly|1|29288993|29288993|0
答案 0 :(得分:0)
您可以使用kt(Kafka工具)-https://github.com/fgeller/kt
查询偏移量和滞后的命令如下:
kt group -group groupName -topic topicName -partitions all
答案 1 :(得分:0)
即使使用者应用程序关闭,此命令也会显示该组中每个使用者的偏移量
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
输出:
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
topic3 0 241019 395308 154289 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2
topic2 1 520678 803288 282610 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2
topic3 1 241018 398817 157799 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2
topic1 0 854144 855809 1665 consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1
topic2 0 460537 803290 342753 consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1
topic3 2 243655 398812 155157 consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1 consumer4