我的Spark Scala脚本将csv写入ADLS位置。输出似乎成功完成,包括生成空的_SUCCESS文件,但是作业因以下异常消息而中止:
Caused by: org.apache.hadoop.security.AccessControlException:
[eaa92db2-17ee-433c-bbeb-a5ae06806baa] Access Denied :
/Outputs/AdHocReporting/CnE_PI_Andrey/DIM_PricingLevelHierarchy.csv/_SUCCESS[2018-09-25T11:08:49.7928321-07:00]
工作凭证是输出位置的所有者(并且文件实际上已经写入那里)。该问题与"overwrite"
选项有关-如果手动删除目标文件夹,则写入成功。