将Spark DataFrame覆盖到位置

Question

我想使用spark_write_*函数将我的Spark DataFrame保存到目录中，如下所示：

spark_write_csv(df, "file:///home/me/dir/")

但如果目录已经存在，我将收到错误：

ERROR: org.apache.spark.sql.AnalysisException: path file:/home/me/dir/ already exists.;

当我处理相同的数据时，我想覆盖这个目录 - 我怎样才能实现这个目标？在文档中有一个参数：

mode  Specifies the behavior when data or table already exists.

但它没有说明你应该使用什么价值。

Answer 1

参数mode应该只有值"overwrite"：

spark_write_csv(df, "file:///home/me/dir/", mode = "overwrite")