只有一个消费者获得包含5个分区的kafka消息

Question

我们使用Go的融合kafka软件包测试了2和3名消费者的消费者群体（知道我们将来可能会有更多的消费者）。

每个主题有10个分区，消息在所有消费者之间分配。

每个主题有5个分区，只有一个消费者才能收到消息。

知道这种行为的原因吗？

Answer 1

您可以尝试使用此命令查看分区分配，然后在此处添加结果吗？ bin/kafka-consumer-groups.sh --bootstrap-server <your-broker-ip>:9092 --describe --group <your-consumer-group> --members --verbose

默认情况下，Kafka使用范围分区方案，因此有时会出现意外行为（例如，如果每个主题只有一个分区，并且有多个使用者，则只有一个使用者分配给所有分区）。我不知道这是否有意义，但是您可以查看this帖子以了解更多详细信息。