如何连接所有列表:
org.apache.spark.rdd.RDD[List[Record]]
获得一个集合:
val values: org.apache.spark.rdd.RDD[Record]
有什么想法吗?
答案 0 :(得分:7)
flatMap
那个!
val rdd : org.apache.spark.rdd.RDD[List[Record]] = ???
val flattened = rdd.flatMap(identity)
其中identity
是身份函数f(x) => x