在Mesos上具有不同内存量的Spark执行器

Question

是否可以在Mesos群集上使用具有不同内存量的执行程序？还是我受内存最少的机器限制？ （假设我想使用所有可用的cpus）。

Answer 1

简短的回答：否。

不幸的是， Spark Mesos 和 YARN 只允许为每台机器提供与最差机器一样多的资源（内核，内存等）有（discussion）。理想情况下，集群应该是同质的，以便充分利用其资源。

但是，您的问题可能存在解决方法。根据上面链接的源代码， Spark standalone允许在某些机器上创建多个worker。您可以将工作程序配置修改为适合最差计算机，并在这些计算机上启动多个工作程序。

例如，假设有两台分别配备4G和20G内存的计算机，您可以在后者上创建5个工作程序，每个工作程序配置为仅使用4G内存，每个计算机限制为第一台计算机。