Scala Spark - 在HDFS上覆盖镶木地板文件

时间:2018-03-29 07:29:26

标签: scala apache-spark spark-dataframe

我试图将数据框附加到现有的镶木地板文件找到选项,以便附加saveMode。但是当我试图追加它时会抛出错误而不是目录。

data.coalesce(1).write.mode(SaveMode.Append).parquet("/user/root/AppendTest");

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=EXECUTE, inode="/user/root/AppendTest":root:root:-rw-r--r-- (Ancestor /user/root/AppendTest is not a directory).

P.S:在创建新文件时,它已生成到文件夹,然后我已重命名为所需文件。

我检查了How to overwrite the output directory in spark,但这并没有解决我的问题。我尝试过上述问题中提到的方法(提到的问题也不同)。

0 个答案:

没有答案