DCOS群集扩展

Question

我有一个带有3个代理节点的DCOS集群;我在DCOS上运行spark等服务很少。

  

  
1. 如果我扩展我的DCOS群集，我是否也需要扩展我的火花   （因为如果我将第四个节点添加到DCOS群集并且当我运行火花时   job，master可以为要运行的spark作业分配资源   未安装spark的第4个节点因此会失败）？
  

在我的观察中，我发现这些作业正被提交给Mesos大师看到的任何节点。

  

  
1. 有没有办法可以指定Spark作业不在某些节点上运行？
  

Answer 1

1. 不是默认情况下，因此您必须扩展Spark。在这种情况下，按比例我指的是添加更多的执行者。无需执行任何其他软件包安装即可支持此功能。

动态分配可能会有所帮助，但我还没有使用它：

http://spark.apache.org/docs/latest/running-on-mesos.html#dynamic-resource-allocation-with-mesos

http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

1. 您可以通过DCOS控制在Marathon中运行作业的位置，但据我所知，不是Spark。我认为你将能够在底层的Mesos配置中实现它，但不建议这样做。您可以创建多个Spark＆＃39;集群＆＃39;在一个DCOS群集中，选择要提交的spark实例：

  

要安装DC / OS Spark软件包的多个实例，请设置每个实例   service.name为JSON中的唯一名称（例如：“spark-dev”）   安装期间的配置文件：

$ dcos config set spark.app_id <service.name>

  

使用DC / OS Spark CLI中的特定Spark实例：

msiexec /i MyInstaller.msi TRANSFORMS=:I01 REINSTALL=ALL REINSTALLMODE=omus

https://docs.mesosphere.com/1.8/usage/service-guides/spark/install/