PySpark - sortByKey（）方法以原始顺序从k，v对返回值

Question

我需要能够从RDD返回（键，值）对的值列表，同时保持原始顺序。

我在下面列出了我的解决方法，但我希望能够一次性完成所有工作。

类似的东西：

myRDD = [(1, 2582), (3, 3222), (4, 4190), (5, 2502), (6, 2537)]
values = myRDD.<insert PySpark method(s)>
print values
>>>[2582, 3222, 4190, 2502, 2537]

我的解决方法：

myRDD = [(1, 2582), (3, 3222), (4, 4190), (5, 2502), (6, 2537)]

values = []
for item in myRDD.sortByKey(True).collect():
                 newlist.append(item[1])
print values
>>>[2582, 3222, 4190, 2502, 2537]

谢谢！

Answer 1

如果按“原始订单”表示按键的顺序，那么您只需要在排序后添加地图：

myRDD.sortByKey(ascending=True).map(lambda (k, v): v).collect()

或致电values方法：

myRDD.sortByKey(ascending=True).values().collect()

如果您参考用于创建初始RDD的结构中的值的顺序，那么在没有附加信息的情况下是不可能的。 RDD是无序的，除非您明确应用sortBy等转换。