群集模式下的spark-submit。无法将应用程序jar传输到驱动程序节点

时间:2015-04-21 10:20:13

标签: apache-spark spark-streaming

我有3个节点群集节点A,B,C。 A.B和C上的A,B和奴隶上的主人 我使用下面的命令从节点A运行spark-submit。

/usr/local/spark-1.3.0-bin-hadoop2.4/bin/spark-submit   --class com.test.SparkExample --deploy-mode cluster --supervise --master spark://master.com:7077  file:///home/spark/sparkstreaming-0.0.1-SNAPSHOT.jar

驱动程序启动到节点B并尝试在节点B的本地文件系统中查找应用程序jar。我们是否需要手动在每个主节点上传输应用程序jar。是已知的bug?或者我错过了什么。 请建议

由于

1 个答案:

答案 0 :(得分:1)

是的,根据官方文档https://spark.apache.org/docs/latest/submitting-applications.html,它应该出现在每个节点上。

顺便说一下,可以将文件放在hdfs