scipy.sparse.linalg.spsolve Linux系统上大型稀疏矩阵的令人惊讶的行为

Question

我正在计算线性系统Ax = b的解决方案，A大（通常为200,000行和相关密集矩阵的列）稀疏矩阵和b大约100列的稀疏矩阵。

当我在Windows系统上运行我的代码（Python 2.7 ，scipy 0.14.0 ）时，以下命令

from scipy.sparse.linalg import spsolve
...
Temp = spsolve(A.tocsc(),b.tocsc())

运行平稳，需要大约7 GB的ram内存。

在Linux系统上使用完全相同的矩阵运行完全相同的代码（相同的CPU，相同数量的RAM内存：64 GB，Linux Mint 17.3 < / strong>，python 2.7 ，scipy 0.13.3 ）需要超过20 GB的ram内存，并且崩溃并显示以下错误消息：

<function umfpack_di_numeric at ...> failed with UMFPACK_ERROR_out_of_memory（参见1）

因为这个错误是依赖于os的，所以我排除了关于矩阵 A 和 b 的任何问题（与一些提到的解决方案in this post相反），我试图找到一个特定于Linux的修复程序......但我不知道从哪里开始......有没有人会知道发生了什么？为什么这样的问题会特定于Linux系统？

请在下面找到完整的错误消息：

Exception in Tkinter callback Traceback (most recent call last): File "/usr/lib/python2.7/lib-tk/Tkinter.py", line 1489, in __call__ return self.func(*args) File "...", line 1533, in mmvConstruction ... File "...", line 1555, in modes_cb Temp = spsolve(k[inter][:,inter].tocsc(),k[inter][:,exter].tocsc()) File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 151, in spsolve Afactsolve = factorized(A) File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 352, in factorized umf.numeric(A) File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/umfpack/umfpack.py", line 450, in numeric umfStatus[status])) RuntimeError:<function umfpack_di_numeric at ...> failed with UMFPACK_ERROR_out_of_memory

更新：仍然试图找到解决方案......似乎Linux Mint上最新版本的BLAS已经很老了：1.8.2。在Windows上，我使用BLAS 1.9.1。使用此处提供的test_numpy.py文件时：https://gist.github.com/osdf/3842524#file-test_numpy-py我注意到Linux和Windows之间存在非常显着的差异： Linux ：版本1.8.2，maxint 9223372036854775807，点：0.76 s - < strong> Windows ：版本1.9.1，maxint 2147483647，dot：0,037 s。我正在调查Linux上的OPENBLAS是否可以解决这个问题......

更新2：我意识到问题可能与硬件有关。实际上，较旧的PC在同一个Linux Mint发行版（Rosa 17.3）上具有完全相同的库，可以提供更令人满意的结果。第一次更新中提到的基准测试给出了这台旧PC： Linux ：版本1.8.2，maxint 9223372036854775807，点：0,054 s。

Answer 1

嗯，经过彻底调查后，我现在确信我遇到的问题与 Linux Mint（Rosa 17.3）可能无法针对最新处理器进行优化这一事实有关。

我在帖子更新中提到的比较强调了软件安装是正确的。然后我在我的电脑上安装 Fedora 23 ，按顺序安装：

• libblas
• 蟒
• 蟒-SciPy的

然后我使用完全相同的矩阵运行完全相同的代码，并且没有任何问题：RAM消耗限制在大约7 GB，类似于在Windows系统上观察到的。