将我的application.config文件推送到我的spark作业工作节点

时间:2016-12-21 22:35:41

标签: scala apache-spark

我的火花作业失败了,看起来原因是我的配置文件在工作节点上找不到。

我的配置文件目前位于:

/src/main/resources/application.conf

我将文件复制到运行spark-submit命令的根文件夹,我这样做了:

spark-submit --class "com.path.to.main.MainClass" --master local[*] --files application.conf /path/to/jar.jar

由于我得到同样的错误,这似乎也没有用。

我做错了什么?

0 个答案:

没有答案