在哪里设置“ spark.yarn.executor.memoryOverhead”

Question

运行spark-scala程序时出现以下错误。

YarnSchedulerBackends $ YarnSchedulerEndpoint：由于超出内存限制，被YARN杀死的容器。使用了2.6GB的2.5GB物理内存。考虑提高spark.yarn.executor.memoryOverhead。

我在创建SparkSession时在程序中设置了spark.yarn.executor.memoryOverhead。

我的问题是-创建SparkSession时可以设置“ spark.yarn.executor.memoryOverhead”还是应该在运行时通过spark-submit传递它？

Answer 1

您必须在创建sparkSession时设置spark.yarn.executor.memoryOverhead。此参数用作要为每个执行程序分配的堆外内存量（以兆字节为单位）。这是一种内存，用于解决VM开销，内部字符串，其他本机开销等问题。随着执行程序大小的增加（通常为6％至10％），内存通常会增加。

现在，这种分配只能在分配执行器时进行，而不能在运行时进行。