rdd中的连续键

时间:2018-09-08 15:10:22

标签: scala apache-spark

有没有一种方法可以将连续的两个键组合成rdd的数组?

让我们说rdd是:

  

(0,0)(0,0)(0,1)(0,2)(0,3)(1,1)(1,2)(1,3)

结果:

arr1 = Array((0,0), (0,0), (0,1), (1,1))
arr2 = Array((0,2), (0,3), (1,2) ,(1,3))
RDD[Array[(Int,Int)]]= arr1,arr2....

1 个答案:

答案 0 :(得分:0)

您可以将“键”(在这种情况下,为元组的右侧)除以2,然后按结果分组-由于这些是Int,因此除法将得到{{ 1}}也是如此,这意味着奇数将产生与前面的偶数相同的结果,从而为您提供后面的结果:

Int