在scala中组合多个RDD

时间:2016-08-30 19:47:25

标签: scala apache-spark rdd

我有4个RDD类型的数据[Double,Double]。 我想将它们连接在一起并想要输出类型RDD [Double,(Double,Double,Double,Double)]但是使用连接函数我得到输出为RDD [Double,(((Double,Double),Double ),双)]。 这里只想清楚每个数据中的第一个值是相同的。

1 个答案:

答案 0 :(得分:2)

只需将值映射到预期类型:

val original: RDD[Double, (((Double,Double),Double),Double)] = // ...
val res: RDD[Double, (Double,Double,Double,Double)] = 
  original.mapValues { case (((d1, d2), d3), d4) => (d1, d2, d3, d4) }