我最近正在学习Spark Storage管理,但是对于在创建数据框时将其存储在何处感到困惑。例如,
df = sc.sql("sql expression")
我知道如果我缓存了这个数据帧,它将被存储在执行器的内存的存储部分(由spark.storage.memoryFraction
控制)中。
但是在我缓存它之前,它存储在哪里?在驱动程序还是执行器上?以及哪一部分(JVM堆,存储,展开或开销内存)?
我的spark版本是1.5.1,并且存储管理模式与Spark 1.6及更高版本的Legacy模式相同。