两个Kafa消费者,其中一个生产者和一个分区

时间:2019-06-24 12:55:37

标签: apache-kafka kafka-consumer-api

我有一个生产者和两个消费者,具有一个分区。我更喜欢这种情况,以处理生产者上的重负载平衡。但是我的两个消费者在每个生产者身上都得到相同的数据。我希望一个消费者应该一次获取数据,而另一个消费者应该空闲。请给我建议解决方法。

1 个答案:

答案 0 :(得分:1)

我希望一个消费者应该一次获取数据,而另一个消费者应该空闲。 ?

如果要在使用者之间进行负载平衡,那么他们应该属于同一组,因此请为两个使用者添加相同的group.id

Consumers

  

消费者使用消费者组名称标记自己,并且发布到主题的每条记录都会传递到每个订阅消费者组中的一个消费者实例。使用者实例可以位于单独的进程中,也可以位于单独的计算机上。

如果所有使用者实例都具有相同的使用者组,则记录将在这些使用者实例上有效地进行负载均衡。

如果所有使用者实例具有不同的使用者组,则每条记录将广播到所有使用者进程。