Question

我试过读取gz文件：

with open(os.path.join(storage_path,file), "rb") as gzipfile:
        with gzip.GzipFile(fileobj=gzipfile) as datafile:
            data = datafile.read()

它可以工作，但我需要文件名和我的gz文件中包含的每个文件的大小。此代码将包含文件的内容打印到存档中。

如何阅读此gz文件中包含的文件名？

Answer 1

Python gzip模块无法访问该信息。

源代码跳过它而不存储它：

if flag & FNAME:
    # Read and discard a null-terminated string containing the filename
    while True:
        s = self.fileobj.read(1)
        if not s or s=='\000':
            break

文件名组件是可选的，不保证存在（命令行gzip -c解压缩选项在这种情况下将使用原始文件名sans .gz，我认为）。未压缩的文件大小不存储在标头中;你可以在最后四个字节中找到它。

要自己从标题中读取文件名，您需要重新创建文件标题读取代码，而保留文件名字节。以下函数返回 plus 解压缩后的大小：

import struct
from gzip import FEXTRA, FNAME

def read_gzip_info(gzipfile):
    gf = gzipfile.fileobj
    pos = gf.tell()

    # Read archive size
    gf.seek(-4, 2)
    size = struct.unpack('<I', gf.read())[0]

    gf.seek(0)
    magic = gf.read(2)
    if magic != '\037\213':
        raise IOError('Not a gzipped file')

    method, flag, mtime = struct.unpack("<BBIxx", gf.read(8))

    if not flag & FNAME:
        # Not stored in the header, use the filename sans .gz
        gf.seek(pos)
        fname = gzipfile.name
        if fname.endswith('.gz'):
            fname = fname[:-3]
        return fname, size

    if flag & FEXTRA:
        # Read & discard the extra field, if present
        gf.read(struct.unpack("<H", gf.read(2)))

    # Read a null-terminated string containing the filename
    fname = []
    while True:
        s = gf.read(1)
        if not s or s=='\000':
            break
        fname.append(s)

    gf.seek(pos)
    return ''.join(fname), size

将上述函数与已创建的gzip.GzipFile对象一起使用：

filename, size = read_gzip_info(gzipfileobj)

Answer 2

GzipFile本身没有这些信息，但是：

文件名（通常）是档案名称减去.gz
如果未压缩的文件小于4G，则存档的最后四个字节包含未压缩的大小：

In [14]: f = open('fuse-ext2-0.0.7.tar.gz')

In [15]: f.seek(-4, 2)

In [16]: import struct

In [17]: r = f.read()

In [18]: struct.unpack('<I', r)[0]
Out[18]: 7106560

In [19]: len(gzip.open('fuse-ext2-0.0.7.tar.gz').read())
Out[19]: 7106560

（从技术上讲，最后四个字节是原始（未压缩）输入数据的大小2 ³²（成员预告片中的ISIZE字段，http://www.gzip.org/zlib/rfc-gzip.html））

Answer 3

我已经在这种模式下解决了：

fl = search_files(storage_path)     
for f in fl:
    with open(os.path.join(storage_path,f), "rb") as gzipfile:
        with gzip.GzipFile(fileobj=gzipfile) as datafile:
            data = datafile.read()
        print str(storage_path) + "/" + str(f[:-3]) +  " : " + str(len(data)) + " bytes" #pcap file size

我不知道它是否正确。

有什么建议吗？

Answer 4

新代码：

fl = search_files(storage_path)     
for f in fl:
    with open(os.path.join(storage_path,f), "rb") as gzipfile:
        #try with module 2^32
        gzipfile.seek(-4,2)
        r = gzipfile.read()
        print str(storage_path) + "/" + str(f[:-3]) +  " : " + str(struct.unpack('<I' ,r)[0]) + " bytes" #dimensione del file pcap

Answer 5

Martjin的解决方案非常好，我将其打包为Python 3.6+：https://github.com/PierreSelim/gzinfo

Juste需要pip install gzinfo

在您的代码中

import gzinfo

info = gzinfo.read_gz_info('bar.txt.gz')

# info.name is 'foo.txt'
print(info.fname)

如何读取包含在gz文件中的文件名

5 个答案: