卡夫卡经纪人对众多消费者群体的影响并行

时间:2019-04-17 11:25:08

标签: apache-kafka kafka-consumer-api

考虑一下,我有一个三节点kafka集群,其中有1000个主题和单个分区。每个主题将由多个消费者组(例如并行100个)消费。因此,总共有1000 * 100个消费群体并行地从kafka消费。

我担心的是,这是否会对卡夫卡集群产生更大的性能影响?

此外,我的模型将为每个用户请求启动使用者,并将从队列中获取单个数据,并且使用者将在请求结束时关闭。对于来自同一用户的下一个请求,将再次启动同一组的使用者,并将其关闭。这将对所有用户重复。

以这种方式创造和拆解消费者是否合适?如果没有,还有其他合适的方法来处理该用例吗?

0 个答案:

没有答案