我们怎样才能在rdd中压平一个列表,我在试用期间陷入了以下状态

时间:2015-08-05 07:20:08

标签: pyspark

朋友.. 我有一个包含“[(1,0),(1,1),(1,0)]”行的rdd 出于这一点,我的目标是得到一个有[[1,0,1,0]]行的rdd 我已经尝试过以下代码来实现这一目标并坚持以下状态

mylist = [(1,0), (1,1), (1,0)]
myrdd = sc.parallelize(mylist)
result = myrdd.groupByKey().mapValues(list)
result.collect()

输出为:[(1,[0,1,0])]

但我希望看到输出为[(1,0,1,0)] ..请帮助..

1 个答案:

答案 0 :(得分:0)

收集之前

添加行:

result = result.map(lambda (k, l): tuple([k] + l))