Spark DataFrame不允许分组中具有窗口功能的多个动态列列表

时间:2018-06-30 13:05:50

标签: scala apache-spark dataframe

sample code:- 
val list=Seq("symbol").map(column=>col(column))
    val windowedCount = stockDs
      .withWatermark("time", "500 milliseconds")
      .groupBy( list:_*,
        window($"time", "10 seconds")
      )
      .sum("value")
  

`错误:_ *'注释在这里允许   (此类注释仅在* -parameters的参数中允许)。

1 个答案:

答案 0 :(得分:0)

groupBy signature is

 def groupBy(cols: Column*): RelationalGroupedDataset 

因此您只能提供一个序列参数:

stockDs
  ...
  .groupBy(list :+ window($"time", "10 seconds"): _*)