我在事件时间窗口中获取聚合数据,但我需要的数据是最新3个窗口中包含的数据。什么是正确的方法来擦除我不需要的其他处理过的旧窗口?
val query = lines
.withWatermark("timestamp", "20 seconds")
.groupBy(window($"timestamp", "10 seconds"),$"value").count().sort(-$"window")
.writeStream
.outputMode("complete")
.format("console")
.start()
我想只看到最近3个最新的窗口。过滤掉30秒以上的窗户是否足够好?
由于