在Django中提供动态生成的ZIP压缩文件

时间:2008-09-15 22:00:32

标签: python django

如何在Django中为用户提供动态生成的ZIP存档?

我正在创建一个网站,用户可以选择任意书籍组合并将其下载为ZIP存档。我担心为每个请求生成这样的存档会使我的服务器慢慢爬行。我还听说Django目前没有一个很好的解决方案来提供动态生成的文件。

11 个答案:

答案 0 :(得分:41)

解决方案如下。

使用Python模块zipfile创建zip存档,但由于文件指定了StringIO对象(ZipFile构造函数需要类似文件的对象)。添加要压缩的文件。然后在您的Django应用程序中返回HttpResponse中的StringIO对象的内容,其中mimetype设置为application/x-zip-compressed(或至少application/octet-stream)。如果需要,可以设置content-disposition标题,但这不是真正需要的。

但要注意,在每个请求上创建zip存档是个坏主意,这可能会导致您的服务器崩溃(如果存档很大,则不计算超时)。性能方面的方法是在文件系统中的某处缓存生成的输出,并仅在源文件发生更改时重新生成它。更好的想法是提前准备档案(例如通过cron作业)并让你的网络服务器像往常一样为它们提供服务。

答案 1 :(得分:40)

这是执行此操作的Django视图:

import os
import zipfile
import StringIO

from django.http import HttpResponse


def getfiles(request):
    # Files (local path) to put in the .zip
    # FIXME: Change this (get paths from DB etc)
    filenames = ["/tmp/file1.txt", "/tmp/file2.txt"]

    # Folder name in ZIP archive which contains the above files
    # E.g [thearchive.zip]/somefiles/file2.txt
    # FIXME: Set this to something better
    zip_subdir = "somefiles"
    zip_filename = "%s.zip" % zip_subdir

    # Open StringIO to grab in-memory ZIP contents
    s = StringIO.StringIO()

    # The zip compressor
    zf = zipfile.ZipFile(s, "w")

    for fpath in filenames:
        # Calculate path for file in zip
        fdir, fname = os.path.split(fpath)
        zip_path = os.path.join(zip_subdir, fname)

        # Add file, at correct path
        zf.write(fpath, zip_path)

    # Must close zip for all contents to be written
    zf.close()

    # Grab ZIP file from in-memory, make response with correct MIME-type
    resp = HttpResponse(s.getvalue(), mimetype = "application/x-zip-compressed")
    # ..and correct content-disposition
    resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename

    return resp

答案 2 :(得分:10)

此处的许多答案建议使用StringIOBytesIO缓冲区。但是,这不是必需的,因为HttpResponse已经是类文件对象:

response = HttpResponse(content_type='application/zip')
zip_file = zipfile.ZipFile(response, 'w')
for filename in filenames:
    zip_file.write(filename)
response['Content-Disposition'] = 'attachment; filename={}'.format(zipfile_name)
return response

答案 3 :(得分:7)

对于python3,我使用 io.ByteIO ,因为不推荐使用 StringIO 来实现此目的。希望它有所帮助。

import io

def my_downloadable_zip(request):
    zip_io = io.BytesIO()
    with zipfile.ZipFile(zip_io, mode='w', compression=zipfile.ZIP_DEFLATED) as backup_zip:
        backup_zip.write('file_name_loc_to_zip') # u can also make use of list of filename location
                                                 # and do some iteration over it
     response = HttpResponse(zip_io.getvalue(), content_type='application/x-zip-compressed')
     response['Content-Disposition'] = 'attachment; filename=%s' % 'your_zipfilename' + ".zip"
     response['Content-Length'] = zip_io.tell()
     return response

答案 4 :(得分:6)

Django不直接处理动态内容的生成(特别是Zip文件)。这项工作将由Python的标准库完成。您可以查看如何在Python here中动态创建Zip文件。

如果您担心它会降低服务器速度,那么如果您希望有许多相同的请求,则可以缓存请求。您可以使用Django的cache framework来帮助您。

总的来说,压缩文件可能是CPU密集型的,但Django不应该比另一个Python Web框架慢。

答案 5 :(得分:5)

无耻插件:您可以将django-zipview用于同一目的。

pip install django-zipview之后:

from zipview.views import BaseZipView

from reviews import Review


class CommentsArchiveView(BaseZipView):
    """Download at once all comments for a review."""

    def get_files(self):
        document_key = self.kwargs.get('document_key')
        reviews = Review.objects \
            .filter(document__document_key=document_key) \
            .exclude(comments__isnull=True)

        return [review.comments.file for review in reviews if review.comments.name]

答案 6 :(得分:5)

我使用了 Django 2.0 Python 3.6

import zipfile
import os
from io import BytesIO

def download_zip_file(request):
    filelist = ["path/to/file-11.txt", "path/to/file-22.txt"]

    byte_data = BytesIO()
    zip_file = zipfile.ZipFile(byte_data, "w")

    for file in filelist:
        filename = os.path.basename(os.path.normpath(file))
        zip_file.write(file, filename)
    zip_file.close()

    response = HttpResponse(byte_data.getvalue(), content_type='application/zip')
    response['Content-Disposition'] = 'attachment; filename=files.zip'

    # Print list files in zip_file
    zip_file.printdir()

    return response

答案 7 :(得分:3)

此模块生成并流式传输存档:https://github.com/allanlei/python-zipstream

(我与开发无关。只是考虑使用它。)

答案 8 :(得分:1)

我建议使用单独的模型来存储这些临时zip文件。您可以在运行中创建zip,使用filefield保存到模型,最后将url发送给用户。

优点:

  • 使用django媒体机制提供静态zip文件(与常规上传一样)。
  • 能够通过常规的cron脚本执行来清理陈旧的zip文件(可以使用zip文件模型中的日期字段)。

答案 9 :(得分:0)

难道你不能只写一个链接到“zip服务器”或诸如此类的东西吗?为什么zip存档本身需要从Django提供?一个90年代的CGI脚本生成一个zip并将它吐到stdout就是这里所需要的,至少就我所见。

答案 10 :(得分:0)

已经为该主题做出了很多贡献,但是由于当我第一次研究此问题时遇到了这个话题,所以我想自己加两分钱。

集成您自己的zip创建文件可能不如Web服务器级解决方案那么健壮和优化。同时,我们使用的是Nginx,并且没有开箱即用的模块。

但是,您可以使用mod_zip模块编译Nginx(有关具有最新稳定Nginx版本的docker映像,请参见here,并且使用阿尔卑斯山基础使其小于默认Nginx映像)。这增加了zip流功能。

然后Django仅需要提供要压缩的文件列表,就完成了! 将库用于此文件列表响应要重用一些,而django-zip-stream提供了这一点。

可悲的是,它实际上并没有真正为我服务,因此我开始进行fork的修复和改进。

您可以在几行中使用它:

def download_view(request, name=""):
    from django_zip_stream.responses import FolderZipResponse
    path = settings.STATIC_ROOT
    path = os.path.join(path, name)

    return FolderZipResponse(path)

您需要一种让Nginx提供要存档的所有文件的方法,仅此而已。