在Apache Spark中是否对“不持久”懒惰进行了评估？

Question

在火花中，cache会被延迟求值，直到调用一个动作为止。同样的惰性评估是否也适用于unpersist？

Answer 1

unpersist()立即从内存中删除持久对象

您可以在Spark UI的storage标签下进行确认。 执行df命令后，将删除缓存的df.unpersist()分区。

df = spark.range(10) # sample df
df.cache() # lazy narrow transformation
df.foreach(lambda x: x) # materialize cache via action
df.unpersist() # remove persisted dataframe from cached RAM