如何从kafka的__consumer_offsets主题中找到消费者主题和组ID？

Question

我正在尝试解析kafka中__consumer_offsets主题中的日志。想法是找到在我的Kafka集群中创建负载的组ID，主题和使用者。

我正在执行的命令如下

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

现在输出看起来像这样

[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,4]::[OffsetMetadata[8646,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]
[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,6]::[OffsetMetadata[8639,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]

有人可以帮助我理解此日志或将我指向文档。预先感谢。

Answer 1

[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,6]::[OffsetMetadata[8639,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]

这表示名称为 dedupeconsumergroup 的消费者组在主题 daas.dedupe.avrosyslog中的分区 6 上读取/承诺偏移量 8639 .incoming

哪个特定使用者读取特定偏移量可能很难找到，因为您必须知道在给定的时间点哪个分区分配给了哪个使用者-由于重新平衡，它可能随时间而变化。