Spark Structured Streaming中是否有与reduceByKeyAndWindow等效的内容？

Question

想利用Spark的结构化流媒体功能，但我需要在窗口内按键进行缩减。 Basic Spark Streaming支持名为reduceByKeyAndWindow的方法。我已经对Spark Structured Streaming文档进行了大量搜索，但没有找到任何与Spark Streaming reduceByKeyAndWindow等效的内容。

结构化流媒体操作的任何组合是否允许我在窗口内按键进行缩小？

Answer 1

在结构化流式术语中，ReduceByKeyAndWindow是具有复合键的窗口聚合。 像这样：

stream.groupBy($"key", window($"timestamp", "5 minutes"))
       .agg(sum($"value") as "total")

聚合可以是任何受支持的SQL函数。