如何在ApcheSparkStructuredStreaming中进行多个窗口转换

时间:2017-12-26 06:59:06

标签: apache-spark spark-dataframe spark-streaming

我正在开发一个关于火花结构化流媒体的项目,我需要在同一数据的多个窗口(每分钟和每小时)上进行聚合。 面临错误:流数据帧不支持多个聚合。

单窗口(每分钟)我能够进行转换。但对于如何对同一数据进行多次窗口转换却不知道或好运。

df.withWatermark("timestamp", "60 seconds")
  .groupBy(col("assetId"), col("organization"), col("tag"),
   functions.window(col("timestamp"), "60 seconds", "60 seconds"),
   functions.window(col("timestamp"), "3600 seconds", "3600 seconds"))
  .mean("value");

0 个答案:

没有答案