Spark:连接列表?

时间:2015-02-17 15:04:11

标签: scala apache-spark

如何连接所有列表:

org.apache.spark.rdd.RDD[List[Record]]

获得一个集合:

val values: org.apache.spark.rdd.RDD[Record]

有什么想法吗?

1 个答案:

答案 0 :(得分:7)

flatMap那个!

val rdd : org.apache.spark.rdd.RDD[List[Record]] = ???

val flattened = rdd.flatMap(identity)

其中identity是身份函数f(x) => x