我们现在使用Flume,通过使用Kafka主题频道将消息从Kafka主题写入HDFS。昨天我们发现一个问题是,频道主题能够生成消息,但不能被任何消费者使用。我们做了一个测试,手动创建一个主题并从命令行使用它,但是它也不起作用。注意到一件事,当我从终端启动使用者时,不是所有分区都分配给了使用者,实际上并没有创建使用者。但是,在我们生成新的分区分配并进行了重新分配之后,一切都很好。我认为代理节点是可以的,因为在我将分区还原为初始分配后,它仍然可以工作。我对这个问题很困惑,有人可以帮助我吗?谢谢。对不起,英语不好。
当我启动Consumer时,标准输出就是这样。我为此主题创建了12个分区,但是我们只能看到分配了9个分区,并且从未通过在Kafka Manager中进行查找来创建console-consumer-32666
。
18/08/23 16:46:26 INFO utils.AppInfoParser: Kafka version : 0.10.2-kafka-2.2.0
18/08/23 16:46:26 INFO utils.AppInfoParser: Kafka commitId : unknown
18/08/23 16:46:26 INFO internals.AbstractCoordinator: Discovered coordinator ai-10:9092 (id: 2147483037 rack: null) for group console-consumer-32666.
18/08/23 16:46:26 INFO internals.ConsumerCoordinator: Revoking previously assigned partitions [] for group console-consumer-32666
18/08/23 16:46:26 INFO internals.AbstractCoordinator: (Re-)joining group console-consumer-32666
18/08/23 16:46:26 INFO internals.AbstractCoordinator: Successfully joined group console-consumer-32666 with generation 1
18/08/23 16:46:26 INFO internals.ConsumerCoordinator: Setting newly assigned partitions [program_track_4-7, program_track_4-1, program_track_4-8, program_track_4-0, program_track_4-9, program_track_4-3, program_track_4-2, program_track_4-4, program_track_4-5, program_track_4-6] for group console-consumer-32666