传递外部依赖性以构建火花提交水球雾

时间:2018-11-27 06:12:48

标签: apache-spark hadoop

我目前正在使用带有水雾的火花。

我的项目取决于外部库( .jar 文件)和其他一些软件包,例如

 1. somejarfile.jar
 2. org.apache.hadoop:hadoop-aws:2.7.4,
 3. org.apache.hadoop:hadoop-client:2.7.4

要在迷雾中传递外部依赖关系,我可以使用run-options配置上下文。

使用外部jar进行配置。

mycontext.run-options="--jars somejarfile.jar"

使用外部软件包进行配置。

mycontext.run-options="--packages org.apache.hadoop:hadoop-aws:2.7.4,org.apache.hadoop:hadoop-client:2.7.4"

是否可以同时使用jar和package配置运行选项?

`mycontext.run-options="--jars somejarfile.jar, --packages org.apache.hadoop:hadoop-aws:2.7.4,org.apache.hadoop:hadoopclient:2.7.4"`.

我被困在这里。在解决上述问题方面的任何帮助将不胜感激。

0 个答案:

没有答案