提交spark诊断：java.io.FileNotFoundException：

Question

我正在使用以下命令

   bin/spark-submit --class com.my.application.XApp 
--master yarn-cluster
 --executor-memory 100m 
--num-executors 50 
/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar
 1000

并获取java.io.FileNotFoundException：我可以在我的群集上看到应用状态为FAILED。

该位置有罐子。使用集群模式spark提交时，我需要放置这个jar的具体位置吗？

Exception:

Diagnostics: java.io.FileNotFoundException: File file:/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar does not exist
Failing this attempt. Failing the application.

Answer 1

您必须将jar文件添加到＆＃34; - jar＆＃34; spark-submit的论点。 E.g。

bin/spark-submit --class com.my.application.XApp 
--master yarn-cluster
--jars "/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar"
--executor-memory 100m 
--num-executors 50 
/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 1000