如何在Spark中转发填充翻滚窗口?

时间:2017-09-19 00:45:59

标签: scala apache-spark apache-spark-sql

我有一些带有“timestamp”列的时间序列数据。翻滚窗口功能有助于生成如下快照:

val q = cleanDF.withColumn("window", window($"timestamp","5 minutes"))
val w = Window.partitionBy($"window").orderBy($"timestamp".desc)
val snaps = q.withColumn("rn",row_number.over(w)).where($"rn"===1).drop("rn").drop("window")

对于没有数据的窗口,如何使用上次已知的正确值转发填充?

0 个答案:

没有答案