Python tarfile没有创建有效的.tar.gz文件

时间:2014-12-16 19:43:31

标签: python django python-2.7 tarfile

我有一个Django应用程序,可以创建一个.tar.gz文件供下载。在本地,我在我的开发机器Python 2.7上运行,在我的远程开发服务器上运行Python 2.6.6。当我下载文件时,我可以通过Mac Finder /命令行打开并查看内容。但是,Python 2.7不喜欢在我的远程开发服务器上创建的.tar.gz文件...我需要将这些文件上传到使用Python解压缩/解析档案的站点。我怎样才能调试出错了什么?在Python shell中:

>>> tarfile.is_tarfile('myTestFile_remote.tar.gz')
False

>>> tarfile.is_tarfile('myTestFile_local.tar.gz')
True

>>> f = tarfile.open('myTestFile_remote.tar.gz', 'r:gz')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/tarfile.py", line 1678, in open
    return func(name, filemode, fileobj, **kwargs)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/tarfile.py", line 1727, in gzopen
    **kwargs)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/tarfile.py", line 1705, in taropen
    return cls(name, mode, fileobj, **kwargs)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/tarfile.py", line 1574, in __init__
    self.firstmember = self.next()
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/tarfile.py", line 2331, in next
    raise ReadError(str(e))
tarfile.ReadError: invalid header

this SO question开始,我也尝试对远程文件运行gzip -t,但没有输出(我相信这意味着文件没问题)。从this other SO question开始,我运行file myTestFile_remote.tar.gz,我相信输出显示正确的文件格式:

myTestFile_remote.tar.gz: gzip compressed data, from Unix

我不太确定我还能尝试什么。似乎抛出了异常,因为我的tarfile有self.offset == 0,但我不知道这意味着什么,我不明白如何创建tarfile以便不会发生这种情况。欢迎提出意见......

不确定哪些代码在这里有用。我的代码创建并返回tarfile:

zip_filename = '%s_%s.tar.gz' % (course.name, course.url)
s = cStringIO.StringIO()
zf = tarfile.open(zip_filename, mode='w:gz', fileobj=s)

<add a bunch of stuff>

zipped = zip_collection(zip_data)
zf.close()

if zipped:
    response = HttpResponse(content_type="application/tar")
    response['Content-Disposition'] = 'attachment; filename=%s' % zip_filename
    s.seek(0, os.SEEK_END)
    response.write(s.getvalue())

------更新------ 根据{{​​3}},我还使用命令行中的tar -zxvf myTestFile_remote.tar.gz验证了远程文件是tar.gz文件。该文件提取得很好。

1 个答案:

答案 0 :(得分:2)

我认为问题出在zlib而不是tarfile本身。

解决方法:

  • 使用bz2创建文件    tarfile.open(zip_filename, mode='w:bz2', fileobj=s)

  • 强制压缩级别(写入/读取)

    zf = tarfile.open(zip_filename, mode='w:gz', fileobj=s, compresslevel=9)

    zf = tarfile.open(zip_filename, mode='r:gz', compresslevel=9)

  • 较低级别的压缩,直到问题消失

    zf = tarfile.open(zip_filename, mode='w:gz', fileobj=s, compresslevel=[9-0])

  • 完全删除压缩

    tarfile.open(zip_filename, mode='w', fileobj=s)

最后一个是仅在绝对需要压缩且前一个工作都没有的时候:

f = open(zip_filename, "w") 
proc = subprocess.Popen(["gzip", "-9"], stdin=subprocess.PIPE, stdout=fobj) 
tar = tarfile.open(fileobj=proc.stdin, mode="w|") 
tar.add(...) 
tar.close() 
proc.stdin.close() 
f.close()