持久性Spark RDD在另一个Spark shell中不可用

Question

我们有一个Spark-1.1.0独立的双节点集群，在该集群上使用Spark shell创建了Spark RDD。 RDD已被持久化（MEMORY_ONLY）。我无法使用sc.getPersistentRDDs（）从另一个Spark shell中检索此RDD。我错过了什么吗？

Answer 1

RDD持久存在于发起该RDD的SparkContext的上下文中，并且只能通过创建它们的Spark上下文访问。

这意味着您无法访问使用SparkContext从另一个SparkContext B创建的RDD，就像使用第二个Spark-shell一样。