Question

我在Kafka集群中有简单的观察（Kafka 0.11.0.0）。

根据jmx信息，__consumer_offsets主题不断加载的消息数是所有其他主题中所有消息总和的10倍。我还将控制台消费者连接到这个主题，我可以测量类似的值。

可能是什么原因？
我如何检查Kafka经纪人在做什么并自行产生这样的负载？

Answer 1

阅读__consumer_offsets主题：

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

for kafka 11使用格式化程序"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

其中consumer.conf有一行

exclude.internal.topics=false

Answer 2

对于kafka的2.2版，这是一个演示：

kafka_2.12-2.2.1 / bin＃

./kafka-console-consumer.sh --bootstrap-server  your-broker   --topic __consumer_offsets --formatter  "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

输出将是：

[MyGroup-7cc5f948df-f9tqz,__MY_TOPIC,2]::OffsetAndMetadata(offset=30, leaderEpoch=Optional.empty, metadata=, commitTimestamp=1568121107017, expireTimestamp=None)

什么可能会导致卡夫卡`__consumer_offsets`主题的巨大负担？

2 个答案: