Pyspark |使用值列表从键转换RDD>使用键列表转换值

Question

在pyspark中，如何将每个键具有值列表的输入RDD转换为每个值具有所属键列表的输出RDD？

输入

[(1, ['a','b','c','e']), (2, ['b','d']), (3, ['a','d']), (4, ['b','c'])]

输出

[('a', [1, 3]), ('b', [1, 2, 4]), ('c', [1, 4]), ('d', [2,3]), ('e', [1])]

Answer 1

先平放并交换rdd上的键值，然后groupByKey：

rdd.flatMap(lambda r: [(k, r[0]) for k in r[1]]).groupByKey().mapValues(list).collect()
# [('a', [1, 3]), ('e', [1]), ('b', [1, 2, 4]), ('c', [1, 4]), ('d', [2, 3])]