Question

我想将CSV坐标格式（COO）数据转换为局部矩阵。目前，我首先将其转换为CoordinateMatrix，然后转换为LocalMatrix。但是有更好的方法吗？

示例数据：

0,5,5.486978435
0,3,0.438472867
0,0,6.128832321
0,7,5.295923198
0,1,7.738270234

代码：

var loadG = sqlContext.read.option("header", "false").csv("file.csv").rdd.map("mapfunctionCreatingMatrixEntryOutOfRow")
var G = new CoordinateMatrix(loadG)

var matrixG = G.toBlockMatrix().toLocalMatrix()

Answer 1

LocalMatrix将存储在一台机器上，因此不会利用Spark的优势。换句话说，使用Spark看起来有点浪费，尽管仍有可能。

将CSV文件设置为LocalMatrix的最简单方法是首先使用Scala读取CSV，而不是Spark：

val entries = Source.fromFile("data.csv").getLines()
  .map(_.split(","))
  .map(a => (a(0).toInt, a(1).toInt, a(2).toDouble))
  .toSeq

LocalMatrix的{{3}}变体有一种读取COO格式数据的方法。需要指定行数和列数才能使用它。由于矩阵是稀疏的，因此在大多数情况下应该手动完成，但是可以获得数据中的最高值，如下所示：

val numRows = entries.map(_._1).max + 1
val numCols = entries.map(_._2).max + 1

然后创建矩阵：

val matrixG = SparseMatrix.fromCOO(numRows, numCols, entries)

矩阵将以CSC格式存储在机器上。打印上面的示例输入将产生以下输出：

1 x 8 CSCMatrix
(0,0) 6.128832321
(0,1) 7.738270234
(0,3) 0.438472867
(0,5) 5.486978435
(0,7) 5.295923198

高效加载CSV坐标格式（COO）输入到局部矩阵火花

1 个答案: