在Mesos集群上运行多个Spark作业

Question

我想在我的Mesos集群上运行多个spark作业，并让所有spark作业共享相同的spark框架。这可能吗？ 我已经尝试运行MesosClusterDispatcher并让spark作业连接到调度程序，但每个spark作业都会启动自己的“Spark Framework”（我尝试运行客户端模式和集群模式）。 这是预期的行为吗？ 是否有可能在多个火花作业中共享相同的火花框架？

Answer 1

这是正常的，它是预期的行为。

据我所知，在Mesos中，SparkDispatcher负责为Spark Driver分配资源，它将充当框架。一旦分配了Spark驱动程序，它就负责与Mesos交谈并接受提议以分配执行任务的执行程序。