csv输出完成后,Spark无法写入_SUCCESS文件

时间:2018-09-25 18:29:18

标签: apache-spark

我的Spark Scala脚本将csv写入ADLS位置。输出似乎成功完成,包括生成空的_SUCCESS文件,但是作业因以下异常消息而中止:

Caused by: org.apache.hadoop.security.AccessControlException:
[eaa92db2-17ee-433c-bbeb-a5ae06806baa] Access Denied :
/Outputs/AdHocReporting/CnE_PI_Andrey/DIM_PricingLevelHierarchy.csv/_SUCCESS[2018-09-25T11:08:49.7928321-07:00] 

工作凭证是输出位置的所有者(并且文件实际上已经写入那里)。该问题与"overwrite"选项有关-如果手动删除目标文件夹,则写入成功。

0 个答案:

没有答案