Spark如何限制cpu内核和内存的使用？

Question

Spark如何限制cpu核心和内存的使用？它是否使用cgroups？纱线怎么样？

Answer 1

在独立群集中，Spark仅使用提供的资源池管理应用程序预定义的资源配置。资源池基于执行器组合而成，后者作为集群添加为salves。 Yarn使用容器，资源限制应用容器配置，定义最小和最大核心和内存分配。

Answer 2

在YARN中NodeManager正在监视spark执行器的内存使用情况，如果他们使用上面的 spark.executor.memory

，则会将其终止

对于CPU， spark.executor.cores 是执行程序可以运行的并发任务量。有关Spark Configuration Documentation

的更多信息

您可以启用cgroups in yarn并限制CPU使用率或YARN容器（spark执行器）。