我希望创建一个RDD元组列表,如下所示:
列表(< 1,a0>,< 2,a0>,< 3,a0>,...,< 100000,a0>)
每个元组的键是1到100000,
每个元组的值是一个常数a0。
我怎样才能做到这一点?我只知道
class Bag implements Iterable<Car> {
...
}
创建一个数字列表。但是如上所述如何创建元组列表?
答案 0 :(得分:2)
让Spark添加常量来创建元组:
val list = sc.makeRDD((1 to 100000)).map((_, a0))
在将数据发送到Spark之前在驱动程序计算机上创建元组:
val list = sc.makeRDD((1 to 100000).map((_, a0)))