Question

我试图逆转一个火花行矩阵。我正在使用的功能如下。

def computeInverse(matrix: RowMatrix): BlockMatrix = {

val numCoefficients = matrix.numCols.toInt
val svd = matrix.computeSVD(numCoefficients, computeU = true)

val indexed_U = new IndexedRowMatrix(svd.U.rows.zipWithIndex.map(r => new IndexedRow(r._2, r._1)))
val invS = DenseMatrix.diag(new DenseVector(svd.s.toArray.map(x => if(x == 0) 0 else math.pow(x,-1))))
val V_inv = svd.V.multiply(invS)

val inverse = indexed_U.multiply(V_inv.transpose)
inverse.toBlockMatrix.transpose

}

我正在实施的逻辑是通过SVD。该过程的解释是

U, Σ, V = svd(A)
A = U * Σ * V.transpose
A.inverse = (U * Σ * V.transpose).inverse
         = (V.transpose).inverse * Σ.inverse * U.inverse

Now U and V are orthogonal matrix
Therefore,
         M * M.transpose = 1
Applying the above,

A.inverse = V * Σ.inverse * U.transpose

Let V * Σ.inverse be X

A.inverse = X * U.transpose

Now, A * B = ((A * B).transpose).transpose
           = (B.transpose * A.transpose).transpose

Applying the same, to keep U as a row matrix, not a local matrix 
A.inverse = X * U.transpose
          = (U.transpose.transpose * X.transpose).transpose
          = (U * X.transpose).transpose

问题在于输入行矩阵。例如

1, 2, 3
4, 5, 6
7, 8, 9
10,11,12

从上面的代码片段和使用python numpy的逆是不同的。我无法弄清楚为什么会这样？是因为在计算svd期间做出了一些基本假设吗？任何帮助将不胜感激。感谢。

Answer 1

以上代码正常运行。我得到这个错误的原因是我使用RDD [Vector]制作了RowMatrix。现在，在spark中，事物按列排序以形成矩阵，而在numpy的情况下，数组被逐行转换为矩阵

Array(1,2,3,4,5,6,7,8,9)

在Spark中

1 4 7
2 5 8
3 6 9

在python中，它被解释为

1 2 3
4 5 6
7 8 9

因此，测试用例失败了：|

反向火花RowMatrix

1 个答案: