Kafka使用者分区映射

时间:2017-03-23 03:35:09

标签: apache-kafka kafka-consumer-api kafka-producer-api

我在同一组中有100个消费者听同一主题和100个分区。因此,根据文档,每个消费者应该只听一个分区,因为有100个消费者和100个分区。我使用密钥向kafka发送消息。因此,具有相同密钥的某些消息应该位于同一分区中,并且应始终由该组中的同一消费者使用。但在我的情况下,具有相同密钥的多个消息被随机消耗多个消费者。无论如何,来自分区的所有消息都只被组中的一个特定使用者使用。我不想明确地为消费者分配分区。

1 个答案:

答案 0 :(得分:1)

  1. 验证您的邮件分区是否符合生产者方的预期
  2. 如果您有100个消费者使用相同的消费者群组ID作为100个分区主题,则每个消费者将获得正好使用的1个分区。