Spark如何优化键值对的RE编码

Question

我的问题是对键值对进行编码，使得所有值都是从0开始的连续整数。

数据之前重新编码：

  

10 - ＆gt; 11

     

15 - ＆gt; 12

     

13 - ＆gt; 10

     

18 - ＆gt; 20

     

10 - ＆gt; 15

     

15 - ＆gt; 11

重新编码后的数据：

  

10 - ＆gt; 0

     

15 - ＆gt; 1

     

13 - ＆gt; 2

     

18 - ＆gt; 3

     

10 - ＆gt; 4

     

15 - ＆gt; 0

以下是我实现此目的的方法：

val encoding = data.map(_.swap).groupByKey().zipWithIndex.map(x => (x._1._1, x._2))
val data_new = data.map(_.swap).join(encoding).map(x => (x._2._1, x._2._2.toInt))

但我的实施非常慢，我想知道是否有更好的方法来解决这个问题。

谢谢！

Answer 1

我认为您需要的只是关注，

假设data是RDD[ ( Int, Int ) ]个key-value元组。

val newData = data
  .groupBy( { case ( key, value ) => value } )
  .zipWithIndex
  .sortBy( { case ( ( value, iter ), index ) => index } )
  .flatMap( { case ( ( value, iter ), index ) => {
    iter.map( { case ( key, value ) => ( key, index ) } ) 
  } } )