Spark SQL DSL中的窗口(固定,滑动等)和水印支持

时间:2019-03-08 01:04:42

标签: apache-spark apache-spark-sql spark-structured-streaming

Spark SQL(DSL而不是API)是否支持结构化流中的窗口功能? Flink中类似的内容如下:

SELECT user, SUM(amount) FROM Orders GROUP BY TUMBLE(proctime,
INTERVAL '1' DAY), user

下面是我在官方结构化流媒体网站上发现的唯一SQL示例,它不包含窗口功能示例:

df.createOrReplaceTempView("updates")

spark.sql("select count(*) from updates")  // returns another streaming DF

1 个答案:

答案 0 :(得分:-1)

Spark尚不支持通过DSL在结构化流上以2.4为窗口功能。版。 Apache Flink具有使用Apache Calcite SQL解析器的功能,并且因为Flink正在推送SQL进行流传输。

但是,此功能可能会在将来的版本中添加。

最佳