Question

我在我的应用程序中使用scipy.sparse并希望进行一些性能测试。为了做到这一点，我需要创建一个大的稀疏矩阵（我将在我的应用程序中使用）。只要矩阵很小，我就可以使用命令

创建它

import scipy.sparse as sp
a = sp.rand(1000,1000,0.01)

这导致1000 x 1000矩阵和10.000个非零项（合理密度意味着每行大约10个非零项）

问题是当我尝试创建一个更大的矩阵，例如，一个100.000乘100.000矩阵（之前我已经处理过 way 更大的矩阵），我运行

import scipy.sparse as sp
N = 100000
d = 0.0001
a = sp.rand(N, N, d)

应该会产生100.000到100.000矩阵，其中包含一百万个非零条目（在可能的范围内），我收到一条错误消息：

Traceback (most recent call last):
  File "<pyshell#6>", line 1, in <module>
    sp.rand(100000,100000,0.0000001)
  File "C:\Python27\lib\site-packages\scipy\sparse\construct.py", line 723, in rand
    j = random_state.randint(mn)
  File "mtrand.pyx", line 935, in mtrand.RandomState.randint (numpy\random\mtrand\mtrand.c:10327)
OverflowError: Python int too large to convert to C long

我无法删除哪些令人讨厌的内部scipy错误。

据我所知，我可以通过创建一百个n×n矩阵，然后将它们堆叠在一起来创建10 * n×10 * n矩阵，但是，我认为scipy.sparse 应该能够处理大型稀疏矩阵的创建（我再说一遍，100k乘100k并不大，scipy比处理数百万行的矩阵更舒适。我错过了什么吗？

Answer 1

在没有深究问题的情况下，您应该确保在Linux平台上使用64位体系结构上的64位构建。在那里，本机“长”数据类型是64位大小（相反Windows，我相信）。

供参考，请参阅以下表格：

http://www.unix.org/whitepapers/64bit.html（ - ＆gt; long是LP64上的64位）
http://en.wikipedia.org/wiki/64-bit_computing#64-bit_data_models

修改也许我以前不够明确 - 在64位Windows上，经典的本地“长”数据类型是32位大小（另见this问题）。在您的情况下，此可能可能是个问题。也就是说，当您将平台更改为Linux时，您的代码可能正常工作。我不能绝对肯定地说这个，因为它实际上取决于在numpy / scipy C源中使用哪些本机数据类型（当然在Windows上有64位数据类型，并且通常使用编译器指令执行平台案例分析，通过宏选择合适的类型 - 我无法想象他们偶然使用了32位数据类型。

编辑2：

我可以提供三个支持我的假设的数据样本。
来自Debian repos的Debian 64位，Python 2.7.3和SciPy 0.10.1二进制文件：

Python 2.7.3 (default, Mar 13 2014, 11:03:55) [GCC 4.7.2] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import scipy; print scipy.__version__; import scipy.sparse as s; s.rand(100000, 100000, 0.0001).shape 0.10.1 (100000, 100000)

Windows 7 64位，32位Python构建，32位SciPy 0.10.1构建，两者来自ActivePython：

ActivePython 2.7.5.6 (ActiveState Software Inc.) based on Python 2.7.5 (default, Sep 16 2013, 23:16:52) [MSC v.1500 32 bit (Intel)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> import scipy; print scipy.__version__; import scipy.sparse as s; s.rand(100000, 100000, 0.0001).shape 0.10.1 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Users\user\AppData\Roaming\Python\Python27\site-packages\scipy\sparse\construct.py", line 426, in rand raise ValueError(msg % np.iinfo(tp).max) ValueError: Trying to generate a random sparse matrix such as the product of dimensions is greater than 2147483647 - this is not supported on this machine

Windows 7 64位，64位ActivePython构建，64位SciPy 0.15.1构建（来自Gohlke，针对MKL构建）：

ActivePython 3.4.1.0 (ActiveState Software Inc.) based on Python 3.4.1 (default, Aug 7 2014, 13:09:27) [MSC v.1600 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> import scipy; scipy.__version__; import scipy.sparse as s; s.rand(100000, 100000, 0.0001).shape '0.15.1' Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Python34\lib\site-packages\scipy\sparse\construct.py", line 723, in rand j = random_state.randint(mn) File "mtrand.pyx", line 935, in mtrand.RandomState.randint (numpy\random\mtrand\mtrand.c:10327) OverflowError: Python int too large to convert to C long

在scipy.sparse中创建一个大的稀疏矩阵

1 个答案: