来自不同群体的Kafka消费者从主题的不同分区消费

Question

我有一个场景，我在不同的节点上部署了4个Kafka Consumer实例。我的主题有4个分区。现在，我想以这样的方式配置消费者，使他们从主题的不同分区中获取。

我知道，如果消费者来自同一个消费者群体，他们会确保分区平分。但就我而言，他们并不属于同一群体。

Answer 1

为了实现您想要的目标，您需要消费者在同一个消费者群体中。只有在这种情况下，一个竞争消费者＆＃34;应用模式：每个消费者从4接收1个分区，因此您有4个消费者，每个消费者从1个分区读取并接收该分区的消息。 当消费者属于不同的消费者群体时，每个消费者将被分配到所有4个分区，以发布/订阅的方式接收来自所有消费者的消息。