python泡菜大小限制

Question

我想挑选一个大的（1810392 * 255）numpy数组。然而，当酸洗我得到一个错误：

[...]error: 'i' format requires -2147483648 <= number <= 2147483647

代码：

import numpy
import pickle
l=numpy.zeros((1810392,255))
f=open('file.pkl','wb')
pickle.dump(l,f,2)

是否有尺寸限制？有解决方法吗？如果没有必要，我不想使用hdf5或者没有构建到python中的东西。

我还尝试了numpy.savez和numpy.savez_compressed。 代码：

import numpy
l=numpy.zeros((1810392,255))
numpy.savez_compressed('file.npz',l)

保存工作，但当我尝试加载数据时，我收到错误。 代码：

import numpy
l=numpy.load('file.npz')
l['arr_0']

我需要使用numpy.savez代替numpy.save，因为我想存储其他数据。

Answer 1

我也遇到类似的问题。我得到的最大泡菜文件是155Mb。如果您打算添加更多数据，建议您使用sqlite3或firebase之类的数据库。