卡夫卡消费群体的行为不平等

时间:2019-01-08 18:39:42

标签: apache-kafka kafka-consumer-api

试图了解卡夫卡的消费群体“行为”。示例4的分区可用。在消费者方面,消费者集团拥有4名消费者。在这种情况下,消费者组中的四个消费者中只有一个消费者总是收到消息。其他人总是闲着。可能的原因是什么?

所有分区都保存着相同的消息吗?要么 是否所有分区都具有相同的消息?要么 我们可以考虑分区分布不均吗?

1 个答案:

答案 0 :(得分:0)

  

其他人总是闲着。可能的原因是什么?

默认情况下,这对于4个分区和4个使用者而言是不可能的。您将必须手动将组中的所有4个使用者分配给单个主题分区。或者,在没有为这些使用者分配了分区的数据中,因此它们“显示”为空闲,但是它们仍在轮询0条记录。

  

是所有分区都保存着相同的消息吗?

消息包含键和值。如果您的密钥为空,则消息的相同值可能存在于多个分区中。如果您具有非null键,则使用DefaultPartitioner,同一条消息(相同键)不可能位于不同的分区上。

  

还是所有分区都具有相同的消息?

不。主要原因是,即使是时间戳和偏移量也无法匹配多个分区

  

我们可以认为分区分布不均吗?

如果您有自己的分区程序或非null键,则可以创建“热” /“胖”分区,使其与其他分区不平衡。使用空键,然后在所有分区上均匀轮播生产者。