Spark Scala - reducebykey =>如何获得值数组的第二个元素?

时间:2017-01-31 07:38:06

标签: scala apache-spark

我试图在火花2.1和斯卡拉的几次旅行中按人计算总和距离。

我有一个配对的RDD,关键是人,列表,旅行列表:(性别,公里数):

enter image description here

我想按键加上km的数量,我需要访问第二个值(nb of km)但是我找不到怎么样。 我试过了 : enter image description here

甚至更简单:enter image description here

我是scala的新手,来自python我不明白: - /

编辑1

尝试建议的解决方案: enter image description here

编辑2

enter image description here

编辑3

和joinedrdd的样本(我感觉我正在混合我的变量名称: enter image description here

编辑4

我不明白:a和b似乎对系统透明: 以下3条说明给出了相同的结果: enter image description here

编辑5

enter image description here

1 个答案:

答案 0 :(得分:0)

我终于找到了办法:

trajets_par_cycliste.map(x => (x._1 , x._2.map({case (k,v) => v.toDouble}).sum)).take(3)

enter image description here