将Spark org.apache.spark.mllib.linalg.Matrix保存到文件中

时间:2015-04-15 12:13:16

标签: apache-spark apache-spark-mllib

Spark MLLib中的相关结果是org.apache.spark.mllib.linalg.Matrix类型。 (见http://spark.apache.org/docs/1.2.1/mllib-statistics.html#correlations

val data: RDD[Vector] = ... 

val correlMatrix: Matrix = Statistics.corr(data, "pearson")

我想将结果保存到文件中。我怎么能这样做?

4 个答案:

答案 0 :(得分:4)

这是一种将Matrix保存到hdfs并指定分隔符的简单有效方法。

(因为.toArray是列主格式,所以使用转置。)

val localMatrix: List[Array[Double]] = correlMatrix
    .transpose  // Transpose since .toArray is column major
    .toArray
    .grouped(correlMatrix.numCols)
    .toList

val lines: List[String] = localMatrix
    .map(line => line.mkString(" "))

sc.parallelize(lines)
    .repartition(1)
    .saveAsTextFile("hdfs:///home/user/spark/correlMatrix.txt")

答案 1 :(得分:0)

由于Matrix是Serializable,您可以使用普通的Scala编写它。

您可以找到示例here

答案 2 :(得分:0)

感谢您的建议。我出来了这个解决方案。感谢Ignacio的建议

val vtsd = sd.map(x => Vectors.dense(x.toArray))
val corrMat = Statistics.corr(vtsd)
val arrayCor = corrMat.toArray.toList
val colLen = columnHeader.size
val toArr2 = sc.parallelize(arrayCor).zipWithIndex().map(
      x => {
    if ((x._2 + 1) % colLen == 0) {
      (x._2, arrayCor.slice(x._2.toInt + 1 - colLen, x._2.toInt + 1).mkString(";"))
    } else {
      (x._2, "")
    }
  }).filter(_._2.nonEmpty).sortBy(x => x._1, true, 1).map(x => x._2)


toArr2.coalesce(1, true).saveAsTextFile("/home/user/spark/cor_" + System.currentTimeMillis())

答案 3 :(得分:0)

Dylan Hogg的回答很棒,为了稍微增强它,添加一个列索引。 (在我的用例中,一旦我创建了一个文件并下载了它,由于并行处理的性质等原因,它没有被排序。)

参考:https://www.safaribooksonline.com/library/view/scala-cookbook/9781449340292/ch10s12.html

替换为这一行,它会在行上放一个序列号(从0开始),这样当你去查看它时更容易排序

val lines: List[String] = localMatrix 
  .map(line => line.mkString(" ")) 
  .zipWithIndex.map { case(line, count) => s"$count $line" }