我有一个相对较大的矩阵,我想计算单值分解。不幸的是,使用core.matrix的直接linear/svd
函数(使用:vectorz
实现)会导致内存不足 - 我的机器对开发机器的内存比较少(8GB, Java堆空间设置为最大值5GB)。
矩阵的维度为[422, 23069]
且相对稀疏(约为1.74%的值非零),因此我的下一次尝试是将矩阵转换为sparse-matrix
:
(def sparse-fs (matrix/sparse-matrix fs))
令人惊讶的是,Java代码中的ArrayOutOfBoundsException
失败了。我可以通过首先创建稀疏矩阵然后设置非零值来解决这个问题:
user> (def sparse-fs (matrix/sparse-matrix [422 23069]))
#'user/sfs
user> (count
(map-indexed
(fn [row line]
(map-indexed
(fn [col val]
(when (not (= val 0.0))
(matrix/mset! sparse-fs row col val)))))
fs))
422
但是,在这个稀疏矩阵上调用linear/svd
也会失败,因为svd的协议显然没有实现:
user> (def svd-fs (linear/svd sparse-fs))
CompilerException java.lang.IllegalArgumentException: No implementation of method: :svd of protocol:
#'clojure.core.matrix.protocols/PSVDDecomposition found for class: mikera.vectorz.Vector2,
我目前没有关于如何从这里取得进展的想法,并希望能够将我的矩阵(以及svd计算)放入我相对较小的内存中的任何输入。
更新
协议问题来自于我仍在尝试使用clojure.core.matrix/sparse-matrix
,这显然是我不明白的用途。相反,我可以使用new-sparse-array
生成实现AMatrix
的实例,为其实现分解协议:
user> (def foo-sparse (matrix/sparse-matrix [422 23069]))
#'user/foo-sparse
user> (type foo-sparse)
mikera.vectorz.Vector2
user> (matrix/dimensionality foo-sparse)
1
user> (def foo-sparse (matrix/new-sparse-array [422 23069]))
#'user/foo-sparse
user> (matrix/dimensionality foo-sparse)
2
user> (type foo-sparse)
mikera.matrixx.impl.SparseRowMatrix
不幸的是,当我在此矩阵上调用linear/svd
时,我回到内存不足错误:
1. Caused by java.lang.OutOfMemoryError
Java heap space
DoubleArrays.java: 724 mikera.vectorz.util.DoubleArrays/createStorage
Matrix.java: 45 mikera.matrixx.Matrix/<init>
Matrix.java: 56 mikera.matrixx.Matrix/create
Matrix.java: 653 mikera.matrixx.Matrix/createIdentity
BidiagonalRow.java: 174 mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/handleU
BidiagonalRow.java: 155 mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/getU
BidiagonalRow.java: 115 mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/_decompose
BidiagonalRow.java: 78 mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/decompose
Bidiagonal.java: 21 mikera.matrixx.decompose.Bidiagonal/decompose
SvdImplicitQr.java: 177 mikera.matrixx.decompose.impl.svd.SvdImplicitQr/bidiagonalization
SvdImplicitQr.java: 154 mikera.matrixx.decompose.impl.svd.SvdImplicitQr/_decompose
SvdImplicitQr.java: 89 mikera.matrixx.decompose.impl.svd.SvdImplicitQr/decompose
SVD.java: 31 mikera.matrixx.decompose.SVD/decompose
matrix_api.clj: 334 mikera.vectorz.matrix-api/eval26238/fn
protocols.cljc: 1150 clojure.core.matrix.protocols$eval21076$fn__21077$G__21067__21084/invoke
linear.cljc: 105 clojure.core.matrix.linear$svd/invoke
我怀疑这可能与vectorz-clj issue 18 that operations on sparse matrices don't produce sparse results有关。
任何替代方案?
答案 0 :(得分:0)
我可以使用svd
实现解决:clatrix
计算中的内存问题。 Clatrix不支持稀疏矩阵,但似乎在svd计算上使用更少的内存。