如何在Scala中展平ArrayBuffer

Question

以下是示例代码。我正在使用RDDS数组来存储对象。我想在这个RDDS数组上使用flatMap并将其存储到数据帧中。

var ArrayofRDDs: ArrayBuffer[T] = null
for(i <- 1 to 10) {
  val data = <A function that returns an object of type T>
  ArrayofRDDs :+ data
}

有人可以帮助解决如何在RDD阵列上使用flatMap吗？

Answer 1

  

如何在RDD数组上使用flatMap

简直不要。 RDD不是GenTraversableOnce，如果不使用collect的某些变体，则无法将其转换为一个。如果要组合多个RDD，只需使用SparkContext.union。