我是卡夫卡的新手。我想知道多个消费者是否可以同时使用主题中的数据并同时处理它们,或者批量消费和处理它们?
答案 0 :(得分:0)
Kafka Consumer将自己归入一个消费者群体名称,发布到主题的每条记录都会传递给每个订阅消费者群体中的一个消费者实例。消费者实例可以位于不同的进程中,也可以位于不同的计算机上。
如果所有消费者实例都具有相同的消费者群体,那么记录将有效地在消费者实例上进行负载平衡。
如果所有消费者实例都有不同的消费者群体,那么每条记录都将广播给所有消费者流程。
数据处理可以同时进行,也可以根据您的要求分批进行。