如何从kafka获取组提交偏移量(0.10.x)

时间:2016-12-12 08:51:19

标签: apache-kafka

该组的偏移信息之前存储在zookeeper中。现在,在Kafka Cluster(0.10.x)中,偏移信息存储在名为__consumer_offsets的主题中。

但是如何获得我指定的组的偏移信息呢?

1 个答案:

答案 0 :(得分:7)

对于活动组,请调用以下命令以检索偏移量:

bin/kafka-consumer-groups.sh --bootstrap-server broker1:9092 --describe --group test-consumer-group

对于非活动组,首先通过计算Math.abs(groupId.hashCode())%50获取目标偏移主题分区号,然后调用:

bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition <calculated number> --broker-list broker1:9092 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

查找群组的偏移量。