Question

使用python从gz压缩文本文件中读取一行是否很容易而不完全提取文件？我有一个text.gz文件，它是200mb。当我提取它时，它变成7.4gb。这不是我必须阅读的唯一文件。对于整个过程，我必须阅读10个文件。虽然这将是一项顺序工作，但我认为在没有提取整个信息的情况下这样做是明智之举。我甚至不知道这是可能的。如何使用python完成？我需要逐行阅读文本文件。

Answer 1

使用gzip.GzipFile：

import gzip

with gzip.open('input.gz','rt') as f:
    for line in f:
        print('got line', line)

注意：gzip.open(filename, mode)是gzip.GzipFile(filename, mode)的别名。我更喜欢前者，因为它看起来类似于用于打开未压缩文件的with open(...) as f:。

Answer 2

你可以在python中使用标准的gzip模块。只需使用：

gzip.open('myfile.gz')

将文件作为任何其他文件打开并读取其行。

此处提供更多信息：Python gzip module

Answer 3

您是否尝试过使用gzip.GzipFile？参数类似于open。

Answer 4

（显然）gzip库使用gzip，这可能会有点慢。您可以通过系统调用gzip的并行版本pigz来加快处理速度。缺点是您必须安装pigz，并且在运行过程中会占用更多的内核，但是它要快得多，而且不会占用大量内存。然后，对该文件的调用将变为os.popen('pigz -dc ' + filename)，而不是gzip.open(filename,'rt')。 Pigz标志是-d用于解压缩，-c是stdout输出，然后可以由os.popen抓取。

以下代码接收一个文件和一个数字（1或2），并在测量代码花费的时间的同时，对具有不同调用的文件中的行数进行计数。在unzip-file.py中定义以下代码：

#!/usr/bin/python
import os
import sys
import time
import gzip

def local_unzip(obj):
    t0 = time.time()
    count = 0
    with obj as f:
        for line in f:
            count += 1
    print(time.time() - t0, count)

r = sys.argv[1]
if sys.argv[2] == "1":
    local_unzip(gzip.open(r,'rt'))
else:
    local_unzip(os.popen('pigz -dc ' + r))

使用/usr/bin/time -f %M调用这些函数，该函数可以测量28G文件上进程的最大内存使用量：

$ /usr/bin/time -f %M ./unzip-file.py $file 1
(3037.2604110240936, 1223422024)
5116

$ /usr/bin/time -f %M ./unzip-file.py $file 2
(598.771901845932, 1223422024)
4996

表明使用基本相同的最大内存，系统调用速度快了大约5倍（10分钟比50分钟）。还值得注意的是，取决于文件中每行读取的内容，这可能不是限制因素，在这种情况下，您采取的选择无关紧要。

python：从压缩文本文件中读取行

4 个答案: