当我杀死一个消费者时,卡夫卡重新平衡问题

时间:2017-12-06 08:00:24

标签: apache-kafka kafka-consumer-api

在以下情况中发生了非常奇怪的流程

  1. 我有6个消费者进程连接到3个代理的集群。 3个消费者(集合A)订阅特定主题集(主题C),而其他3个消费者(集合B)订阅另一组主题(主题D)。所有消费者都属于同一个消费者群体。所有主题的复制因子均为3,分为24个分区。每个使用者自动分配到应该使用的主题集的8个分区。我已将分配模式设置为循环法。

  2. 如果我从集合A中终止消费者,主题C将在集合A的剩余消费者中成功重新分配。集合A中的每个消费者现在都从主题C订阅了12个分区。

  3. 但是B组的消费者发疯了。 D中的所有主题和所有分区都分配给B中的任何一个消费者,其余消费者保持空闲状态 - 集D中所有主题的所有24个分区都分配给一个进程。

  4. 我需要了解如何调试此问题以及可能出现的问题?

    我认为只有主题C中的消费者才会受到影响。消费者集B应保持不受影响,绝对不会将所有分区分配给单个进程

    Kafka版本为0.11

0 个答案:

没有答案