并行度大于 1

Question

我正在使用 FlinkKafkaConsumer(...) 消费具有 50 多个分区的 Kafka 主题。我想为这些分区创建窗口。但是，我不希望有任何改组，所以我不能使用 DataStream.keyBy(...)。如果我调用 DataStream.windowAll(...)，并行度将为 1，这也不是我所期望的。

那么有什么方法可以同时保持并行性的高价值和没有数据混洗？

谢谢

Answer 1

如果不使用 keyBy，您的选择就会变得相当有限。您可以使用（非键控）ProcessFunction 实现某种并行窗口化，但您无法访问计时器或键控状态，只能使用 operator state。