Spark Scala foreach循环中的分配

Question

我是scala / spark的新手，我正在尝试循环数据帧并在循环进行时分配结果。以下代码有效，但只能将结果打印到屏幕上。

traincategory.columns.foreach { x=>

val test1 = traincategory.select("Id", x)

import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer}

//CODE TO PERFORM ONEHOT TRANSFORMATION

val encoded = encoder.transform(indexed)

encoded.show()

}

由于val是不可变的，我试图将这个转换中的向量附加到另一个变量上，如在R中所做的那样。

//var ended = traincategory.withColumn(x,encoded(0))

我怀疑Scala有一种更惯用的处理方式。

提前感谢您的帮助。

Answer 1

解决方案可在以下网址获得：

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/mllib/Correlations.scala

如果有人与Scala MLIB有类似的问题，那么有很好的示例代码：

https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples/mllib