当从pyspark中的内存中删除数据帧时，以及如何显式删除数据帧

Question

这里是场景示例，我想立即删除df1，因为该代码不再用于释放内存的任何地方-

df1 = spark.sql("Select 1 as X")
df2 = df1.withColumn("Y", df1["X"])

# here if I want to remove df1 then what should be the code.

df2.show()

Answer 1

如果我们使用df.persist（）或某些缓存级别，则可以取消持久化Dataframe。但是在这里，我们无处使用任何缓存。 如果您真的想清除内存，请检查垃圾回收调整

https://github.com/apache/spark/blob/master/docs/tuning.md

注意：数据框不保存数据。