Spark:从List中删除它之前的unpersist rdd

时间:2016-09-16 23:35:26

标签: apache-spark rdd

我有一个rdd List<JavaRDD<MyType>>列表。列表中的每个rdd都缓存在内存中。

现在我要删除其中一个列表项。 我需要在.unpersist()之前致电.remove(index)吗?

如果&#34;是&#34;:据我所知.unpersist()使用延迟评估。我是否需要执行某些操作然后删除该项?看起来它没有多大意义。

请帮忙!

1 个答案:

答案 0 :(得分:0)

  

我是否需要在.remove(index)

之前调用.unpersist()

你可能并且这样做可能是一个好主意,但是如果你不自动处理,那么一个对象就会被垃圾收集。

  

我需要运行一些操作,然后删除项目

绝对不是。在没有保留的RDD上调用unpersist没有任何问题,如果没有什么可以删除它对你来说更好。