Pyspark驱动程序中Python子进程的内存分配

Question

在PySpark驱动程序中创建新的Python进程时（例如，使用JobLib或其他多处理库），这些进程是否共享Spark驱动程序内存，或者它们在该PySpark驱动程序JVM之外分配了内存？

Answer 1

Python驱动程序内存不在spark.driver.memory中进行计算（对于worker，则与spark.executor.memory相同）。 spark.*.memory设置仅用于堆上Java内存分配。

spark.driver.memoryOverhead和等效设置涵盖了所有其他形式的内存分配（堆外，本机内存，例如Python等）。