Question

我正在尝试使用numpy memmap创建一个大文件

big_file = np.memmap(fnamemm, dtype=np.float32, mode='w+', shape=(np.prod(dims[1:]), len_im), order='F')

系统是Windows 10-64位操作系统，可在64位python中运行

In [2]: sys.maxsize

Out[2]: 9223372036854775807

具有足够的虚拟内存（最多120000Megas）

但是，每次我尝试创建一个文件，文件大小超过2Giga时，都会出现运行时错误

In [29]: big_file = np.memmap(fnamemm, dtype=np.int16, mode='w+', shape=(np.prod(dims[1:]), len_im), order=order)
C:\Users\nuria\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpy\core\memmap.py:247: RuntimeWarning: overflow encountered in long_scalars
  bytes = long(offset + size*_dbytes)
---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-29-66578da2d3f6> in <module>()
----> 1 big_file = np.memmap(fnamemm, dtype=np.int16, mode='w+', shape=(np.prod(dims[1:]), len_im), order=order)

~\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpy\core\memmap.py in __new__(subtype, filename, dtype, mode, offset, shape, order)
    248
    249         if mode == 'w+' or (mode == 'r+' and flen < bytes):
--> 250             fid.seek(bytes - 1, 0)
    251             fid.write(b'\0')
    252             fid.flush()

OSError: [Errno 22] Invalid argument

当文件大小小于2Giga时，不会发生此错误...

我用另一个也是64位的Windows 7复制了相同的问题

我忘记了什么吗？为什么在拥有32位系统的情况下memmap起作用？

编辑：该错误并不完全是运行时错误。尝试获取文件的长度时，变量“ bytes”会收到运行时警告，导致我猜到了一个错误的参数，从而引发了Errno 22

Answer 1

我有一个类似的错误，结果是那是因为shape =（A，B）参数之一是int32而不是int64。请尝试以下操作：

len_im64 = np.array(len_im,dtype='int64')
big_file = np.memmap(fnamemm, dtype=np.float32, mode='w+', shape=(np.prod(dims[1:]).astype('int64'), len_im), order='F')

它为我修复了。

Answer 2

即使系统是64位的，问题也可能是因为应用程序是用32位目标构建的。检查您的Shell执行模式（32位或64位）。

对于这样的应用程序，您已经使他们知道大地址。然后，这32个应用程序可以访问64位计算机上的4GB内存。

该怎么做？这是某人的文章。

https://github.com/pyinstaller/pyinstaller/issues/1288

注意：如果您的应用程序已使用64位目标构建。.忽略此问题并添加注释，将删除此答案。

numpy memmap运行时错误。...具有2Gigas限制的64位系统？

2 个答案: