RDD.union vs SparkContext.union

Question

之间有什么区别

reduce(lambda x,y: x.union(y), myRDDlist)

调用RDD.union和

sc.union(myRDDlist)

调用SparkContext.union？

他们编译成相同的代码吗？

Answer 1

如果您有两个RDD，则

SparkContext.union和RDD.union是等效的。

减少RDD列表并调用RDD.union将导致多个嵌套的UnionRDD（相互引用），其中对SparkContext.union的调用将只产生一个UnionRDD。