Python内存中的zip库

时间:2010-03-17 15:57:26

标签: python memory zip archive

是否有一个Python库允许在内存中操作zip存档,而不必使用实际的磁盘文件?

ZipFile库不允许您更新存档。唯一的方法似乎是将其解压缩到一个目录,进行更改,并从该目录创建一个新的zip。我想修改zip存档而无需磁盘访问,因为我将下载它们,进行更改并再次上传,所以我没有理由存储它们。

与Java的ZipInputStream / ZipOutputStream类似的东西可以解决问题,尽管任何可以避免磁盘访问的接口都可以。

4 个答案:

答案 0 :(得分:71)

根据Python docs

class zipfile.ZipFile(file[, mode[, compression[, allowZip64]]])

  Open a ZIP file, where file can be either a path to a file (a string) or a file-like object. 

因此,要在内存中打开文件,只需创建一个类似文件的对象(可能使用BytesIO)。

file_like_object = io.BytesIO(my_zip_data)
zipfile_ob = zipfile.ZipFile(file_like_object)

答案 1 :(得分:40)

来自文章In-Memory Zip in Python

  

以下是2008年5月发布的关于使用Python进行内存压缩的帖子,自Posterous关闭以来重新发布。

     

我最近注意到有一个for-pay组件可用于使用Python在内存中压缩文件。考虑到这是应该是免费的,我把以下代码汇总在一起。它只进行了非常基本的测试,所以如果有人发现任何错误,请告诉我,我会更新。

import zipfile
import StringIO

class InMemoryZip(object):
    def __init__(self):
        # Create the in-memory file-like object
        self.in_memory_zip = StringIO.StringIO()

    def append(self, filename_in_zip, file_contents):
        '''Appends a file with name filename_in_zip and contents of 
        file_contents to the in-memory zip.'''
        # Get a handle to the in-memory zip in append mode
        zf = zipfile.ZipFile(self.in_memory_zip, "a", zipfile.ZIP_DEFLATED, False)

        # Write the file to the in-memory zip
        zf.writestr(filename_in_zip, file_contents)

        # Mark the files as having been created on Windows so that
        # Unix permissions are not inferred as 0000
        for zfile in zf.filelist:
            zfile.create_system = 0        

        return self

    def read(self):
        '''Returns a string with the contents of the in-memory zip.'''
        self.in_memory_zip.seek(0)
        return self.in_memory_zip.read()

    def writetofile(self, filename):
        '''Writes the in-memory zip to a file.'''
        f = file(filename, "w")
        f.write(self.read())
        f.close()

if __name__ == "__main__":
    # Run a test
    imz = InMemoryZip()
    imz.append("test.txt", "Another test").append("test2.txt", "Still another")
    imz.writetofile("test.zip")

答案 2 :(得分:19)

Ethier提供的示例有几个问题,其中一些是主要问题:

  • 不适用于Windows上的实际数据。 ZIP文件是二进制文件,其数据应始终使用打开的文件'wb'
  • 编写
  • 为每个文件追加ZIP文件,这是低效的。它只能打开并保存为InMemoryZip属性
  • 文档声明应该显式关闭ZIP文件,这不是在append函数中完成的(它可能适用于(例如)因为zf超出范围并关闭ZIP文件)
  • 为zip文件中的所有文件设置create_system标志时间附加一个文件而不是每个文件一次。
  • on Python< 3 cStringIO比StringIO
  • 更有效
  • 在Python 3上不起作用(原始文章来自3.0发布之前,但到发布代码时3.1已经出了很长时间了。)

如果您安装ruamel.std.zipfile(我是作者),则可以使用更新版本。之后

pip install ruamel.std.zipfile

或包含here类的代码,您可以这样做:

import ruamel.std.zipfile as zipfile

# Run a test
zipfile.InMemoryZipFile()
imz.append("test.txt", "Another test").append("test2.txt", "Still another")
imz.writetofile("test.zip")  

您也可以使用imz.data将内容写入您需要的任何地方。

您也可以使用with语句,如果您提供文件名,则会在离开该上下文时写入ZIP的内容:

with zipfile.InMemoryZipFile('test.zip') as imz:
    imz.append("test.txt", "Another test").append("test2.txt", "Still another")

由于写入光盘延迟,您实际上可以从该上下文中的旧test.zip读取。

答案 3 :(得分:9)

PYTHON 3

import io
import zipfile

zip_buffer = io.BytesIO()
with zipfile.ZipFile(zip_buffer, "a", zipfile.ZIP_DEFLATED, False) as zip_file:
    for file_name, data in [('1.txt', io.BytesIO(b'111')), ('2.txt', io.BytesIO(b'222'))]:
        zip_file.writestr(file_name, data.getvalue())
with open('C:/1.zip', 'wb') as f:
    f.write(zip_buffer.getvalue())