使用Apache Spark和Mesos进行资源分配

时间:2015-10-26 15:53:39

标签: apache-spark mesos

所以我已经部署了一个包含Apache Mesos和Apache Spark的集群,我需要在集群上执行多个作业。我想确保一个作业有足够的资源来成功执行,如果不是这样,它必须返回错误。

Spark提供了一些设置,如spark.cores.maxspark.executor.memory,以限制作业使用的资源,但没有设置下限(例如,将最小核心数设置为8为工作)。

我正在寻找一种方法来确保作业在执行之前有足够的资源(例如在资源分配期间),你知道是否可以在Mesos上使用Apache Spark获取这些信息? / p>

0 个答案:

没有答案