spark-submit to cloudera cluster找不到任何依赖的jar

时间:2014-08-25 23:07:13

标签: apache-spark cloudera

我可以对我的cloudera集群进行spark-submit。几分钟后工作就会消失,但有例外抱怨它无法找到各种类别。这些是Spark依赖路径中的类。我一直使用命令行args --jars一次添加一个罐子,纱线日志不断倾倒掉它找不到的下一个罐子。

什么设置允许火花/纱线作业找到所有相关的罐子?

我已将“spark.home”属性设置为正确的路径 - / opt / cloudera / parcels / CDH / lib / spark

1 个答案:

答案 0 :(得分:0)

我找到了它!

除去

.set(“spark.driver.host”,“驱动程序计算机IP地址”)

来自您的驱动程序代码。