我正在开发一个关于火花结构化流媒体的项目,我需要在同一数据的多个窗口(每分钟和每小时)上进行聚合。 面临错误:流数据帧不支持多个聚合。
单窗口(每分钟)我能够进行转换。但对于如何对同一数据进行多次窗口转换却不知道或好运。
df.withWatermark("timestamp", "60 seconds")
.groupBy(col("assetId"), col("organization"), col("tag"),
functions.window(col("timestamp"), "60 seconds", "60 seconds"),
functions.window(col("timestamp"), "3600 seconds", "3600 seconds"))
.mean("value");