apache-kafka - 关于Flume Kafka来源的问题

当我使用Flume Agent从Kafka源获取数据并将数据写入HDFS时，但某些主题不能正常工作。 Kafka的版本为kafka_2.11-0.8.2.1 。所以，我运行命令bin/kafka-topics.sh --zookeeper zk:port/kafka -- describe，结果是

主题：__ consumer_offsets PartitionCount：50 ReplicationFactor：3配置：segment.bytes = 104857600，cleanup.policy = compact

主题：__ consumer_offsets分区：0领导者：2个副本：2,3,1 Isr：   2,3,1主题：__ consumer_offsets分区：1个领导者：3个副本：   3,1,2 Isr：3,1,2

...

主题：__ consumer_offsets分区：48领袖：2个复制品：2,3,1 Isr：   2,3,1主题：__ consumer_offsets分区：49领导者：3个复制品：   3,1,2 Isr：3,1,2

主题：uniformAuthTopic PartitionCount：3 ReplicationFactor：3配置：   主题：uniformAuthTopic分区：0领导者：3个副本：3,2,1 Isr：   3,2,1主题：uniformAuthTopic分区：1个领导者：1个副本：   1,3,2 Isr：1,3,2主题：uniformAuthTopic分区：2领袖：   2个复制品：2,1,3 Isr：2,1,3

主题的意思是什么：__ consumer_offsets？好吧，我运行命令bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk:port/kafka --group flume --topic uniformAuthTopic

组主题Pid Offset
  logSize Lag所有者flume uniformAuthTopic   0 14737892 20069753 5331861
  flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974-e9d501b9-0   flume uniformAuthTopic 1 14925444
  20584430 5658986
  flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974-e9d501b9-0   flume uniformAuthTopic 2 21086401
  21086988 587
  flume_bj-yz302-F11-r720-8-1457492175405-54ad44d1-0

pid 0和pid 1的主人错了，我不知道为什么主人改变了。请原谅我破碎的英语！

关于Flume Kafka来源的问题

1 个答案: