Spark将数据帧转换为RowMatrix

时间:2017-09-01 17:19:57

标签: scala apache-spark dataframe

假设我有一个由一系列转换产生的数据帧。它看起来如下:

id matrixRow
0  [1,2,3]
1  [4,5,6]
2  [7,8,9]

每行实际上对应于矩阵的一行。 如何将数据帧的matrixRow列转换为RowMatrix?

1 个答案:

答案 0 :(得分:1)

经过多次尝试,这是一个解决方案:

val rdd = df.rdd.map(
           row => Vectors.dense(row.getAs[Seq[Double]](1).toArray)//get the second column value as Seq[Double], then as Array, then cast to Vector
          )
val row = new RowMatrix(rdd)