当我使用Flume Agent从Kafka源获取数据并将数据写入HDFS时，但某些主题不能正常工作。 Kafka的版本为kafka_2.11-0.8.2.1
。所以，我运行命令bin/kafka-topics.sh --zookeeper zk:port/kafka -- describe，结果是
主题：__ consumer_offsets PartitionCount：50 ReplicationFactor：3配置：segment.bytes = 104857600，cleanup.policy = compact
主题：__ consumer_offsets分区：0领导者：2个副本：2,3,1 Isr： 2,3,1主题：__ consumer_offsets分区：1个领导者：3个副本： 3,1,2 Isr：3,1,2
...
主题：__ consumer_offsets分区：48领袖：2个复制品：2,3,1 Isr： 2,3,1主题：__ consumer_offsets分区：49领导者：3个复制品： 3,1,2 Isr：3,1,2
主题：uniformAuthTopic PartitionCount：3 ReplicationFactor：3配置： 主题：uniformAuthTopic分区：0领导者：3个副本：3,2,1 Isr： 3,2,1主题：uniformAuthTopic分区：1个领导者：1个副本： 1,3,2 Isr：1,3,2主题：uniformAuthTopic分区：2领袖： 2个复制品：2,1,3 Isr：2,1,3
主题的意思是什么：__ consumer_offsets？
好吧，我运行命令bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk:port/kafka --group flume --topic uniformAuthTopic
pid 0和pid 1的主人错了，我不知道为什么主人改变了。 请原谅我破碎的英语！组主题Pid Offset
logSize Lag所有者flume uniformAuthTopic 0 14737892 20069753 5331861
flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974-e9d501b9-0 flume uniformAuthTopic 1 14925444
20584430 5658986
flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974-e9d501b9-0 flume uniformAuthTopic 2 21086401
21086988 587
flume_bj-yz302-F11-r720-8-1457492175405-54ad44d1-0
答案 0 :(得分：0)
_consumer_offsets是一个用于跟踪消费者偏移提交的特殊主题。这些曾经保存在Zookeeper中，但现在保留了这个主题。根据 the docs ：
当偏移管理器收到OffsetCommitRequest时，它会将请求附加到名为__consumer_offsets的特殊压缩Kafka主题。