加快卡夫卡消费者的处理速度,但确保事件的顺序

时间:2018-12-05 17:55:07

标签: apache-kafka kafka-consumer-api

我知道,如果我们有多个分区,并且消费者组中的消费者数量几乎相同,那么处理将会加快。如果我们要保持事件的顺序并在接收到事件时对其进行处理,那么如何使用多个分区和使用者来实现此目的。

在我的用例中,按顺序处理事件非常关键,否则系统将崩溃。我想使用多个分区来增加并行度,但是以某种方式“使它们按顺序排列”。

1 个答案:

答案 0 :(得分:0)

最简单的答案:你不能

一旦将数据拆分为分区,就无法保证使用顺序(即使是单个使用方)。 难道没有任何逻辑可以将数据分片到分区中,这样必须按顺序使用的消息才能在同一分区中结束?