Kafka分区是否均匀消耗？

Question

我有一个拥有多个消费者的消费群体。每个使用者都被分配到一组分区。当消费者轮询选择消费分区的消息时？它是在消费者方面完成的还是Kafka服务器决定哪些分区转为消费？

我的一些分区有很多消息，但有些消息没有或很少。但我仍然需要我的消费者平等地使用每个分配的分区。所以我需要我的消费者快速遍历分区，最好是从每个分配的分区中轮询x消息。

我正在使用https://github.com/appsignal/rdkafka-ruby以防万一。

Answer 1

Kafka指定要作为循环策略使用的分区，为每个分区提供公平的消费机会。以这种方式避免了分区的饥饿。

另一方面，Kafka并不保证数据将按比例在分区中使用，

请参阅此here的详细信息。