标签: apache-spark
有人可以帮助澄清最新的Spark 2.4.0中的各种内存管理选项吗?
根据文档here:spark.memory.offHeap.enabled和spark.memory.offHeap.size控制堆外内存的大小,但spark.executor.memoryOverhead也是如此。那么,究竟是什么决定了堆外内存的大小?
spark.memory.offHeap.enabled
spark.memory.offHeap.size
spark.executor.memoryOverhead
谢谢。