我的马拉松比赛有以下几项:
./bin/spark-class org.apache.spark.deploy.mesos.MesosClusterDispatcher
然而,接下来我想现在能够使用命令将各个Spark作业作为单独的Marathon作业运行:
./bin/spark-submit ....
我的问题是: 我如何调用来自Mesos执行器的spark-submit没有安装二进制文件呢? (注意:我知道http://spark.apache.org/docs/latest/running-on-mesos.html#connecting-spark-to-mesos还建议在所有Mesos从属服务器上安装Spark,但这是唯一的选择吗?)
非常感谢任何指导。
答案 0 :(得分:0)
只需运行以下命令:
/opt/spark/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --class org.apache.spark.examples.SparkPi --master mesos://127.0.0.1:31258 --deploy-mode cluster --supervise --executor-memory 2G --total-executor-cores 1 /opt/spark/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 1000