Question

我使用 PySpark 创建了 RDD ，并且在使用看起来完全相同的键值加入 600 GB 后的大小。< / p>

[('43.72_-70.08', (('0744632', -70.08, 43.72, '2.4'), '18090865')),
 ('43.72_-70.08', (('0744632', -70.08, 43.72, '2.4'), '18090865')),
 ('43.25_-67.58', (('0753877', -67.58, 43.25, '7.2'), '18050868')),
 ('43.01_-75.24', (('0750567', -75.24, 43.01, '7.2'), '18042872'))]

我想要这样的东西并按第一个元素排序：

['0744632', '18090865', '2.4',
'0744632', '18090865', '2.4',
'0750567', '18042872', '7.2',
'0753877', '18050868', '7.2']

有没有办法可以从元组中获取数据并以所需格式获取输出。

注意：这是一个600 GB的RDD，在第一列中有超过一百万个不同的值。 150亿行，如果可能，我真的很感激优化方式。

Answer 1

在火花群中执行此操作，例如：

In []:
(rdd.map(lambda x: (x[1][0][0], x[1][1], x[1][0][2]))
 .sortBy(lambda x: x[0])
 .flatMap(lambda x: x)
 .collect())

Out[]:
['0744632', '18090865', 43.72, '0744632', '18090865', 43.72, '0750567', 
 '18042872', 43.01, '0753877', '18050868', 43.25]

可选地

In []:
import operator as op

(rdd.map(lambda x: (x[1][0][0], x[1][1], x[1][0][2]))
 .sortBy(lambda x: x[0])
 .reduce(op.add))

Out[]:
('0744632', '18090865', 43.72, '0744632', '18090865', 43.72, '0750567', 
 '18042872', 43.01, '0753877', '18050868', 43.25)

这似乎是一个相当笨重的结构，如果你的意思是一个元组列表，那么就简单地消除flatMap()：

In []:
(rdd.map(lambda x: (x[1][0][0], x[1][1], x[1][0][2]))
 .sortBy(lambda x: x[0])
 .collect())

Out[]:
[('0744632', '18090865', 43.72),
 ('0744632', '18090865', 43.72),
 ('0750567', '18042872', 43.01),
 ('0753877', '18050868', 43.25)]

Answer 2

这是一个简单的单行解决方案

sorted([(x[1][0][0], x[1][1], x[1][0][3]) for x in your_list])

我认为它比基于这篇文章的lambda解决方案略快一些 What is the difference between these two solutions - lambda or loop - Python

Answer 3

与Spark的其他答案类似：

rdd=rdd.map(lambda (a,(b,c)): [b[0], c, b[3]])\
       .sortBy(lambda row: row[0])

您也可以使用reduce而不是flatMap：

rdd.reduce(lambda x,y: x+y)

删除元组并创建一个新的排序列表

3 个答案: