spark API docs提供了使用parallelize创建RDD的以下定义:
parallelize(c,numSlices = None)
分发本地Python集合以形成RDD。使用xrange是 如果输入表示性能范围,则建议使用。
>>> sc.parallelize([0, 2, 3, 4, 6], 5).glom().collect() [[0], [2], [3], [4], [6]] >>> sc.parallelize(xrange(0, 6, 2), 5).glom().collect() [[], [0], [], [2], [4]]
我想创建一个键/值对RDD,如何通过并行化来实现?示例输出RDD:
key | value
-------+-------
panda | 0
pink | 3
pirate | 3
panda | 1
pink | 4
答案 0 :(得分:6)
sc.parallelize([("panda", 0), ("pink", 3)])
答案 1 :(得分:0)
sc.parallelize(Seq((“panda”,0),(“pink”,3)))