在火花结构化流中处理来自传入运动学流的空批次

时间:2019-02-27 00:00:57

标签: apache-spark pyspark spark-structured-streaming

我们正在从运动学中读取数据,并使用spark结构流将其输出到文件中。 当流中没有数据时,kinesis实现会生成空批处理。这些空批处理正在创建空白文件作为输出吗? 知道如何停止火花以写出空白文件

1 个答案:

答案 0 :(得分:0)

分区输出解决了空集问题