将大型稀疏矩阵相乘和对角化而不将整个矩阵读入内存

时间:2017-03-08 09:24:13

标签: python scipy sparse-matrix matrix-multiplication eigenvalue

我有一些以COO格式存储的非常大的稀疏矩阵(维度大约为十亿),即作为行列表,列列表和相应的数据列表。它们占用的空间比可以立即读入群集内存的空间大。我需要对这些矩阵执行一些操作,包括采集产品(两次),然后对结果进行对角化。

对于我的小矩阵(对于类似的问题),我将行,列和数据转换为csr格式,通过'*'相乘并使用scipy.sparse.eigsh进行对角化。

我想知道是否有一种方法可以用Python或者用不同的语言对这些矩阵进行乘法和对角化,这些矩阵一次只能读取一行行,列和数据列表。

在对角化方面,我只需要找到前几个(比如五个)最低特征值。

0 个答案:

没有答案