Spark Dataframe联合是如此之慢

Question

我使用不同的线性回归模型转换数据帧并获得一些帧。

val frames:Array[DataFrame] = new Array[DataFrame](rows.length)
for(i <- 0 to rows.length - 1) {
  val userid = rows.apply(i).getString(0)
  val frame = filterByUserId(userid, data)
  val userModel = LinearRegressionModel.load(userModelPath+userid)
  if(userModel!=null) {
    println(i+": predicte "+userid)
    userModel.setFeaturesCol("feature")
    val prediction = userModel.transform(frame)
    frames.update(i, prediction)
  }
}

然后，我想结合这些框架来评估预测。

var frame1 = frames.apply(0)
for(i <- 1 to frames.size - 1)
  frame1 = frame1.union(frames.apply(i))
frame1

但是工会运作如此缓慢，为什么呢？如何解决这个问题？