Question

我正在尝试从网址读取gzip文件，而不在Python 2.7中保存临时文件。但是，由于某种原因，我得到一个截断的文本文件。我花了很长时间在网上寻找解决方案而没有成功。如果我将“原始”数据保存回gzip文件，则不会截断（请参阅下面的示例代码）。我做错了什么？

我的示例代码：

    import urllib2
    import zlib
    from StringIO import StringIO

    url = "ftp://ftp.ncbi.nih.gov/snp/organisms/human_9606/VCF/clinvar_00-latest.vcf.gz"

    # Create a opener
    opener = urllib2.build_opener() 

    request = urllib2.Request(url)
    request.add_header('Accept-encoding', 'gzip')

    # Fetch the gzip filer
    respond = opener.open(request)
    compressedData = respond.read()
    respond.close()

    opener.close()

    # Extract data and save to text file
    compressedDataBuf = StringIO(compressedData)
    d = zlib.decompressobj(16+zlib.MAX_WBITS)

    buffer = compressedDataBuf.read(1024)
    saveFile = open('/tmp/test.txt', "wb")
    while buffer:
        saveFile.write(d.decompress(buffer))
        buffer = compressedDataBuf.read(1024)
    saveFile.close()

    # Save "raw" data to new gzip file.
    saveFile = open('/tmp/test.gz', "wb")
    saveFile.write(compressedData)
    saveFile.close()

Answer 1

因为gzip文件由许多连接的gzip流组成，如RFC 1952所允许的那样.gzip会自动解压缩所有gzip流。

您需要检测每个gzip流的结束并使用后续压缩数据重新启动解压缩。请查看Python文档中的unused_data。

在Python 2.7中使用zlib从URL中读取gzip文件

1 个答案: