当我配置Yarn时，有一个用于分配内存的JAVA_HEAP_MAX环境变量。当我实例化一个Spark工作时，spark.executor.memory会覆盖这个值吗？有什么理由我需要通过-Xmx手动设置Java堆，还是做Spark confs处理？
基本上，我是否需要设置一个初始的Java堆内存分配，该分配大于我将分配给spark的内存，或者它是否默认管理它 - 以及通过环境变量修改JVM的用例是什么火花之外？
答案 0 :(得分：0)
我在提交工作时从未做过-Xmx。我总是使用spark.executor.memory和driver.memory。我认为它会覆盖。 一些额外的配置/调整火花使用 https://spark.apache.org/docs/latest/configuration.html#compression-and-serialization
喜欢
spark.memory.fraction