火花结构化流木地板覆盖

Question

我希望能够使用实木复合地板格式覆盖我的输出路径， 但这不在可用操作（添加，完成，更新）中， 这里还有其他解决方案吗？

val streamDF = sparkSession.readStream.schema(schema).option("header","true").parquet(rawData)

val query = streamDF.writeStream.outputMode("overwrite").format("parquet").option("checkpointLocation",checkpoint).start(target)
query.awaitTermination()

Answer 1

Apache Spark仅支持Append的{​​{1}}模式。 Check out here

在写入数据之前，您需要编写代码以从File Sink删除路径/文件夹/文件。

Check out this stackoverflow link代表file system。这将帮助您解决问题。