Question

由于某些原因，我无法让cPickle.load处理ZipFile.open（）返回的文件类型对象。如果我在ZipFile.open（）返回的文件类型对象上调用read（），我可以使用cPickle.loads。

示例....

import zipfile
import cPickle

# the data we want to store
some_data = {1: 'one', 2: 'two', 3: 'three'}

#
# create a zipped pickle file
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'w', zipfile.ZIP_DEFLATED)
zf.writestr('data.pkl', cPickle.dumps(some_data))
zf.close()

#
# cPickle.loads works
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'r')
sd1 = cPickle.loads(zf.open('data.pkl').read())
zf.close()

#
# cPickle.load doesn't work
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'r')
sd2 = cPickle.load(zf.open('data.pkl'))
zf.close()

注意：我不想只打包pickle文件，而是打印其他类型的许多文件。这只是一个例子。

Answer 1

这是由于zipfile模块实现的伪文件对象的不完美（对于Python 2.6中引入的.open类的ZipFile方法）。考虑：

>>> f = zf.open('data.pkl')
>>> f.read(1)
'('
>>> f.readline()
'dp1\n'
>>> f.read(1)
''
>>>

.read(1) - .readline()的序列是.loads内部所做的（在protocol-0 pickle上，Python 2中的默认值，这是你在这里使用的）。不幸的是zipfile的不完美意味着这个特定的序列不起作用，在第一个读/读线对之后产生了一个虚假的“文件结束”（.read返回一个空字符串）。

如果在Python 2.7中修复了Python标准库中的这个错误，我不确定 - 我要检查一下。

编辑：刚检查 - 该错误已在Python 2.7 rc1（当前最新的2.7版本的候选版本）中得到修复。我还不知道它是否已修复2.6的最新错误修复版本。

再次编辑：Python 2.6.5中仍然存在这个bug，这是Python 2.6的最新错误修复版本 - 所以如果你不能升级到2.7并且需要更好的表现伪文件来自ZipFile.open的对象，2.7修复的后端似乎是唯一可行的解决方案。

请注意，不确定做是否需要表现更好的伪文件对象;如果您控制转储调用并且可以使用最新和最好的协议，一切都会没问题：

>>> zf = zipfile.ZipFile('zipped_pickle.zip', 'w', zipfile.ZIP_DEFLATED)
>>> zf.writestr('data.pkl', cPickle.dumps(some_data, -1))
>>> sd2 = cPickle.load(zf.open('data.pkl'))
>>>

它只是旧的狡猾的向后兼容“协议0”（默认），在load中混合读取和读取线调用时需要适当的伪文件对象行为（协议0也较慢，导致较大的腌菜，因此，除非向后兼容旧的Python版本，或者0产生的泡菜的ascii-only性质，否则绝对不推荐使用，这是您应用程序中的强制性约束。）

从zip文件加载pickle文件

1 个答案: