我尝试使用以下代码挑选大型文本文件：
import pickle
file1=open('/home/mustafa/data/wiki.en.text','r')
obj=[file1.read()]
pickle.dump(obj,open('data.pkl','w'),2)
我收到以下错误：
struct.error: 'i' format requires -2147483648 <= number <= 2147483647
我认为这可能是一个多处理问题。
答案 0 :(得分：1)
对于这种序列化泡菜不是一个好选择。即使是cPickle，信息＆gt;比4Gb可能是非常有问题的。您是否考虑过使用SQLite或HDF5等其他替代方案？