无法将数据附加到镶木地板[FileAlreadyExists异常]

Question

我正在尝试使用以下命令将数据从数据框附加到现有的镶木地板文件：

dfModified
  .write
  .mode("append")
  .parquet("/home/hduser/s_s_c/fadpd/fadpd.parquet")

但我一直有这种例外：

Exception in thread "main" org.apache.hadoop.fs.FileAlreadyExistsException: Parent path is not a directory: file:/home/hduser/s_s_c/fadpd/fadpd.parquet

另外，我在 false 的开头设置了 spark.speculation 。 有谁知道我在哪里误会？谢谢你的帮助和时间！

Answer 1

对于试图在镶木地板文件中附加数据的每个人。你不能追加镶木地板文件。您需要重新创建新的，当您查询时，您需要查询所有这些：）