Question

我正在尝试从本地计算机终端向我的群集提交Spark应用程序。我正在使用--master yarn-cluster。我也需要在我的集群上运行驱动程序，而不是在我提交应用程序的机器上运行，即我的本地机器

我正在使用

    bin/spark-submit 
--class com.my.application.XApp 
--master yarn-cluster --executor-memory 100m 
--num-executors 50 hdfs://name.node.server:8020/user/root/x-service-1.0.0-201512141101-assembly.jar 
1000

并收到错误

诊断：java.io.FileNotFoundException：文件文件：/Users/nish1013/Dev/spark-1.4.1-bin-hadoop2.6/lib/spark-assembly-1.4.1-hadoop2.6.0.jar 不存在

我可以在我的服务列表中看到，

YARN + MapReduce2 2.7.1.2.3 Apache Hadoop NextGen MapReduce（YARN）
Spark 1.4.1.2.3 Apache Spark是一种快速通用的引擎大规模数据处理。

已安装。

我在本地机器上的spark-env.sh

export HADOOP_CONF_DIR=/Users/nish1013/Dev/hadoop-2.7.1/etc/hadoop

有没有人遇到过类似的事情？

Answer 1

我认为正确的调用命令如下：

bin/spark-submit --class com.my.application.XApp --master yarn-cluster --executor-memory 100m --num-executors 50 --conf spark.yarn.jars=hdfs://name.node.server:8020/user/root/x-service-1.0.0-201512141101-assembly.jar 1000

或者你可以添加 spark.yarn.jars hdfs://name.node.server:8020/user/root/x-service-1.0.0-201512141101-assembly.jar 在您的spark.default.conf文件中

Erro spark-assembly-1.4.1-hadoop2.6.0.jar不存在

1 个答案: