标签: apache-spark mesos
最近我在Mesos Cluster上设置了Spark。我遇到的最大问题是如何限制提供给单个任务的资源。
虽然我可以使用spark.cores.max限制Spark任务使用的CPU核心总数,但内存没有spark.memory.max。
spark.cores.max
spark.memory.max
虽然我的任务设置较大spark.executor.memory,例如64 GB,但相当低spark.executor.cores,因此,所有内存都被任务占用,并且群集中无法启动任何其他任务。
spark.executor.memory
64 GB
spark.executor.cores
我想问一下是否有办法限制提供给火花任务的内存。