如何在spark中制作rdd元组列表?

时间:2016-03-09 20:56:03

标签: scala apache-spark

我希望创建一个RDD元组列表,如下所示:

列表(< 1,a0>,< 2,a0>,< 3,a0>,...,< 100000,a0>)

每个元组的键是1到100000,

每个元组的值是一个常数a0。

我怎样才能做到这一点?我只知道

class Bag implements Iterable<Car> {

    ...

}

创建一个数字列表。但是如上所述如何创建元组列表?

1 个答案:

答案 0 :(得分:2)

让Spark添加常量来创建元组:

val list = sc.makeRDD((1 to 100000)).map((_, a0))

在将数据发送到Spark之前在驱动程序计算机上创建元组:

val list = sc.makeRDD((1 to 100000).map((_, a0)))