如何通过--files来触发带有S3路径的oozie动作

时间:2018-10-25 07:07:38

标签: apache-spark amazon-s3 oozie oozie-workflow

在Oozie Spark Action中,随着火花选择,我正在通过s3路径传递--files选项。

<spark-opts>--files s3://bucket-name/xyz/abc.conf</spark-opts>
<arg>abc.conf</arg>

但是在火花中,我发现文件未找到异常。

java.io.FileNotFoundException: abc.conf

abc.conf文件未进入spark上下文。

我尝试了此链接https://community.hortonworks.com/questions/96747/how-to-pass-files-to-spark-action-with-oozie.html

中提到的解决方案

可能是什么问题? 没有s3,它就可以正常工作。

0 个答案:

没有答案