配置每个Worker节点的Executor内存和执行程序数

Question

如何在Spark群集中配置Executor的内存。另外，如何配置每个工作节点的执行程序数？

有没有办法知道执行者的内存有多少可以自由缓存或保留新的RDD。

Answer 1

配置Spark执行程序内存 - 提交作业时使用参数spark.executor.memory或键--executor-memory

配置每个节点的执行程序数取决于您用于Spark的调度程序。对于YARN和Mesos，你无法控制它，你可以设置执行者的数量。对于Spark Standalone群集，您可以调整SPARK_WORKER_INSTANCES参数

您可以检查Spark驱动程序的WebUI中的可用内存量。请参考此处How to set Apache Spark Executor memory，了解为什么这不等于您设置的总执行程序内存