我有3个节点群集节点A,B,C。 A.B和C上的A,B和奴隶上的主人 我使用下面的命令从节点A运行spark-submit。
/usr/local/spark-1.3.0-bin-hadoop2.4/bin/spark-submit --class com.test.SparkExample --deploy-mode cluster --supervise --master spark://master.com:7077 file:///home/spark/sparkstreaming-0.0.1-SNAPSHOT.jar
驱动程序启动到节点B并尝试在节点B的本地文件系统中查找应用程序jar。我们是否需要手动在每个主节点上传输应用程序jar。是已知的bug?或者我错过了什么。 请建议
由于
答案 0 :(得分:1)
是的,根据官方文档https://spark.apache.org/docs/latest/submitting-applications.html,它应该出现在每个节点上。
顺便说一下,可以将文件放在hdfs
。