Question

RDDData===RET
(
  12345,
  20170201,
  Map(12 -> 85, 15 -> 57, 00 -> 3, 09 -> 80, 21 -> 33, 03 -> 7, 18 -> 50, 06 -> 38, 17 -> 43, 23 -> 28, 11 -> 73, 05 -> 16, 14 -> 58, 08 -> 66, 20 -> 35, 02 -> 9, 01 -> 16, 22 -> 34, 16 -> 49, 19 -> 53, 10 -> 69, 04 -> 15, 13 -> 66, 07 -> 43),
  Map(12 -> 4, 15 -> 4, 00 -> 4, 09 -> 4, 21 -> 4, 03 -> 4, 18 -> 4, 06 -> 4, 17 -> 4, 23 -> 4, 11 -> 4, 05 -> 4, 14 -> 4, 08 -> 4, 20 -> 4, 02 -> 4, 01 -> 4, 22 -> 4, 16 -> 4, 19 -> 4, 10 -> 4, 04 -> 4, 13 -> 4, 07 -> 4),
  Map(12 -> 15, 15 -> 9, 00 -> 4, 09 -> 14, 21 -> 8, 03 -> 4, 18 -> 8, 06 -> 8, 17 -> 9, 23 -> 8, 11 -> 15, 05 -> 4, 14 -> 9, 08 -> 12, 20 -> 8, 02 -> 4, 01 -> 5, 22 -> 8, 16 -> 9, 19 -> 9, 10 -> 14, 04 -> 5, 13 -> 13, 07 -> 9)
)

我刚接触火花，我不知道从哪里开始。我有一个像上面提到的rdd。你能不能帮我从上面的RDD中提取值。

我想提取值并根据键在第3，第4和第5列中连接地图。

感谢您的帮助

Answer 1

你可以尝试这样：

rdd.map{case(id, data, map3, map4, map5) => 
            map3.toList ++ map4.toList ++ map5.toList
       }
   .map(l => l.groupBy(_._1).map{case(k, v) => k -> v.map(_._2).toSeq)

第一个map函数将仅保留转换为连接所有映射的列表的映射第二个映射函数将按键分组，并将所有值放在一个序列中。因此，您将使用仅包含地图的rdd，按键连接，并将值作为数值的Seq（与地图中的键匹配的数字）输出应为：

(12 -> [85,4,15], 15 -> [57,4,9], 00 -> [3,4,4] .....

从spark RDD中提取值

1 个答案: