Question

我有一个带有重复值的RDD，格式如下：

[ {key1: A}, {key1: A}, {key1: B}, {key1: C}, {key2: B}, {key2: B}, {key2: D}, ..]

我希望新的RDD具有以下输出并且可以获得重复数据。

[ {key1: [A,B,C]}, {key2: [B,D]}, ..]

我已经设法使用以下代码执行此操作，方法是将值放在一个集合中以获取重复项。

RDD_unique = RDD_duplicates.groupByKey().mapValues(lambda x: set(x))

但是我试图用

在1命令中更优雅地实现这一点

RDD_unique = RDD_duplicates.reduceByKey(...)

我还没设法提出一个lambda函数，它在reduceByKey函数中得到了相同的结果。

Answer 1

你可以这样做：

data = (sc.parallelize([ {key1: A}, {key1: A}, {key1: B},
  {key1: C}, {key2: B}, {key2: B}, {key2: D}, ..]))

result = (data
  .mapValues(lambda x: {x})
  .reduceByKey(lambda s1, s2: s1.union(s2)))

Spark：使用reduceByKey而不是groupByKey和mapByValues

1 个答案: