所以我已经部署了一个包含Apache Mesos和Apache Spark的集群,我需要在集群上执行多个作业。我想确保一个作业有足够的资源来成功执行,如果不是这样,它必须返回错误。
Spark提供了一些设置,如spark.cores.max
和spark.executor.memory
,以限制作业使用的资源,但没有设置下限(例如,将最小核心数设置为8为工作)。
我正在寻找一种方法来确保作业在执行之前有足够的资源(例如在资源分配期间),你知道是否可以在Mesos上使用Apache Spark获取这些信息? / p>