Mesos内存限制上的火花

时间:2017-07-26 07:52:29

标签: apache-spark mesos

最近我在Mesos Cluster上设置了Spark。我遇到的最大问题是如何限制提供给单个任务的资源。

虽然我可以使用spark.cores.max限制Spark任务使用的CPU核心总数,但内存没有spark.memory.max

虽然我的任务设置较大spark.executor.memory,例如64 GB,但相当低spark.executor.cores,因此,所有内存都被任务占用,并且群集中无法启动任何其他任务。

我想问一下是否有办法限制提供给火花任务的内存。

0 个答案:

没有答案