我可以对我的cloudera集群进行spark-submit。几分钟后工作就会消失,但有例外抱怨它无法找到各种类别。这些是Spark依赖路径中的类。我一直使用命令行args --jars一次添加一个罐子,纱线日志不断倾倒掉它找不到的下一个罐子。
什么设置允许火花/纱线作业找到所有相关的罐子?
我已将“spark.home”属性设置为正确的路径 - / opt / cloudera / parcels / CDH / lib / spark
答案 0 :(得分:0)
我找到了它!
除去
.set(“spark.driver.host”,“驱动程序计算机IP地址”)
来自您的驱动程序代码。