我在AWS上运行了Mesos DCOS集群,并通过dcos package install spark
命令安装了Spark。我能够使用DCOS CLI成功执行Spark作业:dcos spark run ...
现在我想从Mesos集群内运行的Docker容器中执行Spark作业,但我不太确定如何到达正在运行的spark实例。我们的想法是让docker容器执行spark-submit
命令将作业提交到Spark部署 而不是 从集群外部执行相同的作业DCOS CLI。
当前的文档似乎只关注通过DCOS CLI运行Spark - 有没有办法从群集内运行的另一个应用程序到达spark部署?
答案 0 :(得分:1)
DCOS物联网演示尝试类似的东西。 https://github.com/amollenkopf/dcos-iot-demo
这些家伙在一个马拉松应用程序中运行一个火花码头和火花提交。检查这个Marathon描述符:https://github.com/amollenkopf/dcos-iot-demo/blob/master/spatiotemporal-esri-analytics/rat01.json