考虑一下,我有一个三节点kafka集群,其中有1000个主题和单个分区。每个主题将由多个消费者组(例如并行100个)消费。因此,总共有1000 * 100个消费群体并行地从kafka消费。
我担心的是,这是否会对卡夫卡集群产生更大的性能影响?
此外,我的模型将为每个用户请求启动使用者,并将从队列中获取单个数据,并且使用者将在请求结束时关闭。对于来自同一用户的下一个请求,将再次启动同一组的使用者,并将其关闭。这将对所有用户重复。
以这种方式创造和拆解消费者是否合适?如果没有,还有其他合适的方法来处理该用例吗?