为什么文件接收器没有完整的模式?

时间:2018-11-29 16:02:41

标签: apache-spark spark-structured-streaming

看看documentation关于结构化流的不同可用输出接收器的火花,我想知道为什么不支持将完整的(即聚合的流结果)写入文件吗? 当前的解决方法是什么?

(由于我在Stackoverflow中找不到任何表支持,即使没有标准的html表标签,我也希望该链接保持更长的激活时间)

我们非常感谢您的帮助!

1 个答案:

答案 0 :(得分:1)

HDFS写入仅允许在文件末尾附加内容,这不能启用更新模式和完整模式(要求在同一键上覆盖值)。因此,没有解决方法。