我试图从笔记本上向远程主人提交火花作业。我有一个本地火花装置，所以我可以运行
./bin/spark-submit --class "a.b.C" --master spark://198.51.100.1:7077 app.jar (...)
由于防火墙政策，nat等，我可以从笔记本电脑（192.168.0.1）到达火花大师（198.51.100.1），但不是相反。
问题是我的本地spark安装尝试将代码分发给worker
SparkContext: Added JAR file:/path/to/app.jar at http://192.168.0.1:52605/jars/app.jar with timestamp 1439369933876
必须失败，因为工人没有通往笔记本的路线
WARN Remoting: Tried to associate with unreachable remote address [akka.tcp://sparkDriver@192.168.0.1:7077]. Address is now gated for 5000 ms, all messages to this address will be delivered to dead letters.
那么，我如何将我的应用程序提交给主人和强制主人将我的代码分发给工人？
或者我是否认为这一切都错了，我的问题还有其他原因在哪里？
答案 0 :(得分：1)
您可以将app.jar上传到群集中可见的位置（例如HDFS），并在启动应用时使用群集部署模式：
./bin/spark-submit --deploy-mode cluster .... hdfs://path/to.jar
有关详细信息，请参阅Submitting Applications。