我有一些带有“timestamp”列的时间序列数据。翻滚窗口功能有助于生成如下快照:
val q = cleanDF.withColumn("window", window($"timestamp","5 minutes"))
val w = Window.partitionBy($"window").orderBy($"timestamp".desc)
val snaps = q.withColumn("rn",row_number.over(w)).where($"rn"===1).drop("rn").drop("window")
对于没有数据的窗口,如何使用上次已知的正确值转发填充?