Question

我正在编写kafka Streams中的跳跃窗口代码，其中minMaxCalculator()计算流中的最小值和最大值，一旦流按键分组。

 KTable<Windowed<String>, aggrTest> WinMinMax = Records.groupByKey().aggregate(new aggrTestInitilizer(), 
        new minMaxCalculator()
        , TimeWindows.of(TimeUnit.SECONDS.toMillis(5)).advanceBy(TimeUnit.SECONDS.toMillis(1)),aggrMessageSerde,"aggr-test");

按键分组后，即使有一个kafka分区，我也想处理并行中为所有键生成的窗口。我们应该怎么做？我在哪里可以设置与窗口对应的并行度？

Answer 1

并行性基于输入分区，并且不能与它们不同。因此，您无法设置参数。

但是，您可以使用所需数量的分区创建主题，并使用through()进行手动重新分区：

stream.through("multi-partition-topic").groupByKey()...

查看文档了解更多详情：

在Kafka Streams中设置Window [Hopping，Tumbling..etc]并行性

1 个答案: