使用parallelize创建一个键/值对RDD?

时间:2015-07-15 21:43:30

标签: apache-spark pyspark

spark API docs提供了使用parallelize创建RDD的以下定义:

  

parallelize(c,numSlices = None)

     

分发本地Python集合以形成RDD。使用xrange是   如果输入表示性能范围,则建议使用。

>>> sc.parallelize([0, 2, 3, 4, 6], 5).glom().collect()
[[0], [2], [3], [4], [6]]
>>> sc.parallelize(xrange(0, 6, 2), 5).glom().collect()
[[], [0], [], [2], [4]]

我想创建一个键/值对RDD,如何通过并行化来实现?示例输出RDD:

key    |  value
-------+-------
panda  |  0
pink   |  3
pirate |  3
panda  |  1
pink   |  4

2 个答案:

答案 0 :(得分:6)

sc.parallelize([("panda", 0), ("pink", 3)])

答案 1 :(得分:0)

sc.parallelize(Seq((“panda”,0),(“pink”,3)))