我有一些以COO格式存储的非常大的稀疏矩阵(维度大约为十亿),即作为行列表,列列表和相应的数据列表。它们占用的空间比可以立即读入群集内存的空间大。我需要对这些矩阵执行一些操作,包括采集产品(两次),然后对结果进行对角化。
对于我的小矩阵(对于类似的问题),我将行,列和数据转换为csr格式,通过'*'相乘并使用scipy.sparse.eigsh进行对角化。
我想知道是否有一种方法可以用Python或者用不同的语言对这些矩阵进行乘法和对角化,这些矩阵一次只能读取一行行,列和数据列表。
在对角化方面,我只需要找到前几个(比如五个)最低特征值。