Spark：它在缓存中保留RDD多长时间

Question

例如，我在内存中缓存了许多RDD。

然后我离开应用程序几天或更长时间。

然后我尝试访问缓存的RDD。

他们还会留在记忆中吗？

或者Spark会在一段时间后清除未使用的缓存RDD。

请帮忙！

Answer 1

Spark会自动监视每个节点上的缓存使用情况，并以最近最少使用（LRU）的方式删除旧数据分区。如果您想手动删除RDD而不是等待它从缓存中删除，请使用RDD.unpersist（）方法。