将大的稀疏矩阵存储在内存中以计算特征值

时间:2018-06-29 16:38:06

标签: python arrays numpy sparse-matrix

对于我来说,它是40000 * 40000个元素,我只需要这个矩阵即可计算特征值。

我的问题是如何将矩阵存储在内存中,因此我可以找到特征值。以下是有关矩阵的详细信息:

A=np.array([((Nx-2)(Nz-2))[1/4],((Nx-2)(Nz-2))[1/2],((Nx-2)(Nz-2))[2],((Nx-2)(Nz-2))[1/2],((Nx-2)(Nz-2))[1/4]])
diags=np.array([-Nx,-1,0,1,Nx])
M=spdiags(A, diags, (Nx-2)(Nz-2), (Nx-2)(Nz-2)).toarray()
alpha=np.linalg.eigvals(M)

错误

File "C:/Users/mr_lu/Downloads/2d.py", line 106, in <module>
  M=spdiags(A, diags, (Nx-2)*(Nz-2), (Nx-2)*(Nz-2)).toarray()
File "C:\Users\mr_lu\PycharmProjects\2d\venv\lib\site-packages\scipy\sparse\base.py", line 878, in toarray
  return self.tocoo(copy=False).toarray(order=order, out=out)
File "C:\Users\mr_lu\PycharmProjects\2d\venv\lib\site-packages\scipy\sparse\coo.py", line 310, in toarray
  B = self._process_toarray_args(order, out)
File "C:\Users\mr_lu\PycharmProjects\2d\venv\lib\site-packages\scipy\sparse\base.py", line 1184, in _process_toarray_args
  return np.zeros(self.shape, dtype=self.dtype, order=order)
ValueError: array is too big; `arr.size * arr.dtype.itemsize` is larger than the maximum possible size.

1 个答案:

答案 0 :(得分:1)

使用稀疏矩阵最重要的细节之一是永远不要使用密集矩阵中间体!当您调用toarray()时似乎出现了内存问题。这是因为您要将scipy.sparse矩阵转换为密集numpy.array。与其使用numpy模块来计算密集矩阵的特征值,不如尝试使用scipy.sparse.linalg函数eigs来查找稀疏矩阵的特征值。