将RDD拆分为pySpark中的n个部分

Question

我想使用Pyspark

将RDD分成相等长度的n部分

如果RDD类似于

data = range(0,20)
d_rdd = sc.parallelize(data)
d_rdd.glom().collect()
[[0, 1, 2, 3, 4, 5, 6, 7, 8, 9], [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]]

我希望将任意两个随机数组合在一起，例如

[[0,4],[6,11],[5,18],[3,14],[17,9],[12,8],[2,10],[1,15],[13,19],[7,16]]

Answer 1

两种方法：

使用 parallelize 时设置分区号，并使用函数 distinct（）

data = range(0,20)
d_rdd = sc.parallelize(data, 10).distinct()
d_rdd.glom().collect()

使用 repartition（）和 distinct（）

data = range(0,20)
d_rdd = sc.parallelize(data).repartition(10).distinct()
d_rdd.glom().collect()