如何在PySpark中展平嵌套列表？

Question

我有一个RDD结构，如：

rdd = [[[1],[2],[3]], [[4],[5]], [[6]], [[7],[8],[9],[10]]]

我希望它成为：

rdd = [1,2,3,4,5,6,7,8,9,10]

如何编写地图或缩小功能以使其有效？

Answer 1

您可以使用例如flatMap并使用列表推导：

rdd.flatMap(lambda xs: [x[0] for x in xs])

或者使它更具一般性：

from itertools import chain

rdd.flatMap(lambda xs: chain(*xs)).collect()