如何获得已经存在于内存中的RDD的引用?

时间:2015-07-10 16:54:37

标签: apache-spark dataframe apache-spark-sql

我不小心覆盖了我在内存中对RDD的原始引用,我该如何取回它或设置另一个引用?

1 个答案:

答案 0 :(得分:3)

您可以调用sc.getPersistentRDDs,它会返回所有已标记为持久性的RDD(使用.cache())。