kafka（非活动）消费者滞后监测

Question

我使用 Confluent Kafka 0.10.0 。我想监控消费者抵消以达到警报的目的。

当群组未激活时，消费者群组的值会在哪里存储？是否有一种编程方法来提取这些？ （IE浏览器中的某些内容）

同样 - 有没有办法获得包含非活动组的组列表？

注意：

（目前）列出/描述我的项目组的唯一方法是使用
kafka-consumer-groups ... --new-consumer。

Answer 1

做以下事情：

1. 获取你的group.id，并计算Math.abs（groupID.hashCode（））％50。假设你的group.id是“test_group1”，然后通过计算Math.abs（“test_group1”）得到目标分区号。 hashCode（））％50

2. 使用先前计算的目标分区号运行以下命令：

   bin / kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition --broker-list *** --formatter“kafka.coordinator.GroupMetadataManager \ $ OffsetsMessageFormatter”

您应该能够看到此非活动组的偏移量。对于活动组，只需运行kafka-consumer-groups脚本即可。

Answer 2

查看kafka文档。以下页面声称是您想要的工作示例： https://cwiki.apache.org/confluence/display/KAFKA/Committing+and+fetching+consumer+offsets+in+Kafka