从名称加载RDD

Question

在Spark中，您可以在RDD上执行setName。

是否可以从名称加载RDD？

像spark.loadRDD(name)吗？

谢谢。

Answer 1

没有这样的选择，因为名称不是唯一的标识符。只有一种方法可以附加其他信息，这些信息将显示在UI或debug字符串中。

拥有：

val rdd1 = sc.parallelize(Seq(1, 2, 3)).setName("foo")
val rdd2 = sc.parallelize(Seq(4, 5, 6)).setName("foo")

，Spark不会“知道”要返回的RDD。

此外，Spark通常不会跟踪RDD。 Spark只知道那些以其他方式缓存或保留的对象。