Spark - 限制从属服务器的CPU核心数或内存数

Question

我正在使用Spark 2.1。此问题适用于某些Spark从属服务器也运行其他应用程序的用例。有没有办法告诉Spark Master服务器只使用某些CPU核心或从服务器的内存？

感谢。

Answer 1

要限制spark作业使用的核心数，您需要在spark-submit命令中添加--total-executor-cores选项。要限制每个执行程序使用的内存量，请使用--executor-memory选项。例如：

spark-submit --total-executor-cores 10 \
             --executor-memory 8g \
             --class com.example.SparkJob \
             SparkJob.jar

这也适用于spark-shell

spark-shell --total-executor-cores 10 \
             --executor-memory 8g