窗口火花流

时间:2021-07-05 19:53:20

标签: scala apache-spark apache-spark-sql window spark-streaming

我在使用带有火花流的窗口时遇到问题。当我运行它时,我得到了正确的结果:

val df=stream.groupBy("station_id").count()
df.writeStream.outputMode("complete").format("console").start()**

但是当我像这样引入 window 时:

val df = stream.withWatermark("datetime_", "10 seconds")
               .groupBy(window(col("datetime_"),"2 minutes", "30 seconds"),col("station_id"))
               .count()

df.writeStream
  .format("memory")
  .outputMode("complete")
  .queryName("my_table")
  .start()

查询结果始终为空!

         ___________________________________
         |window_|station_id_|_count________|
         |_______|___________|______________|

我不明白为什么我会得到这个。

0 个答案:

没有答案