Question

我有一个Python实用程序遍历tar.xz文件并处理每个单独的文件。这是一个15MB压缩文件，包含740MB未压缩数据。

在内存非常有限的一台特定服务器上，程序崩溃，因为内存不足。我使用objgraph来查看创建了哪些对象。事实证明，TarInfo实例未被释放。主循环类似于：

with tarfile.open(...) as tar:
    while True:
        next = tar.next()
        stream = tar.extractfile(next)
        process_stream()
        iter+=1
        if not iter%1000:
            objgraph.show_growth(limit=10)

输出非常一致：

TarInfo     2040     +1000
TarInfo     3040     +1000
TarInfo     4040     +1000
TarInfo     5040     +1000
TarInfo     6040     +1000
TarInfo     7040     +1000
TarInfo     8040     +1000
TarInfo     9040     +1000
TarInfo    10040     +1000
TarInfo    11040     +1000
TarInfo    12040     +1000

直到处理完所有30,000个文件为止。

为了确保，我已经注释掉了创建流并处理流的行。内存使用量保持不变 - TarInfo实例泄露。

我正在使用Python 3.4.1，这种行为在Ubuntu，OS X和Windows上是一致的。

Answer 1

看起来这实际上是设计的。 TarFile对象维护TarInfo属性中包含的所有members个对象的列表。每次调用next时，它从存档中提取的TarInfo对象都会添加到列表中：

def next(self):
    """Return the next member of the archive as a TarInfo object, when
       TarFile is opened for reading. Return None if there is no more
       available.
    """
    self._check("ra")
    if self.firstmember is not None:
        m = self.firstmember
        self.firstmember = None
        return m

    # Read the next block.
    self.fileobj.seek(self.offset)
    tarinfo = None
    ... <snip>

    if tarinfo is not None:
        self.members.append(tarinfo)  # <-- the TarInfo instance is added to members

members列表会随着您提取更多项目而不断增长。这样可以使用getmembers和getmember方法，但这只会对您的用例造成麻烦。似乎最好的解决方法是在迭代时不断清除members属性（如建议的here）：

with tarfile.open(...) as tar:
    while True:
        next = tar.next()
        stream = tar.extractfile(next)
        process_stream()
        iter+=1
        tar.members = []  # Clear members list
        if not iter%1000:
            objgraph.show_growth(limit=10)

泄露TarInfo对象

1 个答案: