结构化流保留水印之外的记录的延迟到达

时间:2019-08-20 20:22:29

标签: spark-structured-streaming

在Spark结构化流中,我必须以15分钟的间隔加入记录(两个流上的窗口时间均为15分钟),并为迟到的记录填充空值,我的意思是超出窗口持续时间的记录。 查询:在Spark Structured Streams Join中,有没有一种方法可以保留来自主流的较晚(外部窗口)到达的记录,并将它们传递到具有二级流字段的空值的下一阶段。

0 个答案:

没有答案