Spark：我已失去参考的unpersist RDD

Question

如何在MLlib模型中生成的RDD，我没有参考？

我知道在pyspark中你可以用sqlContext.clearCache()来解决所有数据帧的问题，scala API中的RDD有类似之处吗？此外，有没有一种方法可以解决一些RDD，而不必全部解决？

Answer 1

你可以打电话

val rdds = sparkContext.getPersistentRDDs(); // result is Map[Int, RDD]

然后过滤值以获得所需的值（1）：

rdds.filter (x => filterLogic(x._2)).foreach (x => x._2.unpersist())

（1） - 手写，没有编译器 - 对不起，如果有一些错误，但不应该;）