Kafka为主题添加按需消费者实例

时间:2018-04-16 13:58:54

标签: apache-kafka horizontal-scaling

我可以使用kafka作为系统中的消息队列,它接收最终用户事件作为消息,在一个月内会有短暂的负载突发(持续几小时到一天)。
目标是在这些峰值负载持续时间内添加额外的消费者(工人),并在不使用时将其移除(放大和缩小)。

然而,似乎消费者组中的一个消费者将从该主题中读取最多一个分区,因此并行处理该主题的消费者的最大数量仅限于主题中的分区数。

kafka是否适合这些用例,我想在短时间内增加工人数量100倍?

0 个答案:

没有答案