Question

我们正在使用Apache Spark开源集群，而我的配置如下。

Total 6 nodes.
32GB per node
16 PUS per node

有人可以帮我找到以下属性的正确值吗？

yarn.nodemanager.resource.memory-mb

yarn.scheduler.maximum-allocation-mb

yarn.nodemanager.resource.cpu-vcores

以上属性是否会影响工作时间？

谢谢。

Answer 1

yarn.nodemanager.resource.memory-mb，yarn.scheduler.maximum-allocation-mb指定可以分配给容器和yarn的最大内存.nodemanager.resource.cpu-vcores指定可以分配的最大核数分配给容器。

默认情况下，yarn将为一个容器（spark执行器）分配一个cpu内核和1GB内存，并且默认情况下，yarn将为spark应用程序创建2个容器（2个执行器）。

我们可以使用以下属性覆盖执行程序的内核数和内存量 --conf spark.executor.memory = 4g，--conf spark.executor.cores = 2

此外，我们可以使用以下属性覆盖Spark应用程序的执行程序数 --conf spark.executor.instances = 3