清理火花缓存数据

Question

我在我的应用程序中使用 cache（）和 persist（）在 DataFrame 上。我想知道我是否需要在我缓存的每个数据帧上调用 unpersist（）来释放我的程序结束时占用的所有内存和磁盘？火花会自动清理那些职业吗？
感谢

Answer 1

一旦火花上下文停止，内存就会自动释放。 如果要在停止上下文之前释放内存，则必须调用unpersist。