将RDD拆分为单个组件

时间:2016-09-14 10:00:00

标签: apache-spark pyspark rdd

我有一个RDD,并希望将其拆分为单独的组件,例如键值作为字典或单个列表。

rdd=[Row(results=[Row(50th=u'1.00', 90th=u'1.890', 95th =u'6.00', 99th =u'4.00', Avg=u'0.108',  Count=u'112121')])]

希望看起来像下面的内容

50th,1.00
90th,1.890

或键值作为单独的列表,如下所示

列表1:

50th
90th

清单2:

1.00
1.890

我厌倦如下,但我只得到的价值不是关键

rdd.map(lambda x:x[0][0]).collect()
rdd.map(lambda x: x.split()).collect()

但它有帮助。 pyspark的新功能,需要一些帮助

0 个答案:

没有答案