火花内存部分和执行程序的内存开销？

Question

  

什么是“ spark.executor.memoryOverhead”和“ spark.memory.fraction”？

     

什么是默认属性

Answer 1

spark.memory.fraction参数可用于分别了解可用于存储的内存和可用于执行的内存。如果要在内存中缓存太多对象，则将需要更多的存储空间（spark.memory.fraction可以是0.5 / 0.6）。但是，如果您将内存用于执行的主要目的，那么您需要可用于执行的内存（spark.memory.fraction可以为0.2 / 0.3）。