Spark执行器配置

Question

根据我的火花群集，设置以下配置

spark.executor.memory=2g

我想知道这个2G的RAM是由所有执行者共享的，或者这个2G的RAM是由每个工作者机器中的每个执行者使用的吗？

Answer 1

  

我想知道这个2G的RAM是由所有执行者共享的   这个2G的RAM由每个工作机器中的每个执行器使用

此设置将导致每个Worker节点上的每个执行程序都具有2G内存。此设置并不意味着 “在所有执行者之间共享2G内存”，表示 “为每个执行者提供2G内存”

这在文件中明确说明（强调我的）：

  

spark.executor.memory | 1克|要使用每个执行程序进程的内存量   （例如2g，8g）。

如果每个Worker节点有多个执行程序，这意味着这些执行程序中的每一个都将占用2G的内存。