深度版本的sys.getsizeof

时间:2013-01-08 04:53:45

标签: python memory python-3.x deep-copy

我想计算一个对象使用的内存。 sys.getsizeof很棒,但很浅(例如,在列表中调用,它不包括列表元素占用的内存)。

我想写一个sys.getsizeof的通用“深层”版本。我理解“深层”的定义有些含糊不清;我对definition followed by copy.deepcopy非常满意。

这是我的第一次尝试:

def get_deep_sizeof(x, level=0, processed=None):
    if processed is None:
        # we're here only if this function is called by client code, not recursively
        processed = set()
    processed.add(id(x))
    mem = sys.getsizeof(x)
    if isinstance(x, collections.Iterable) and not isinstance(x, str):
        for xx in x:
            if id(xx) in processed:
                continue
            mem += get_deep_sizeof(xx, level+1, processed)
            if isinstance(x, dict):
                mem += get_deep_sizeof(x[xx], level+1, processed)
    return mem

它存在两个已知问题,以及未知数量未知的问题:

  • 我不知道如何以捕获所有链接对象的方式遍历通用容器。因此,我使用in进行迭代,并对字典的情况进行硬编码(包括值,而不仅仅是键)。显然,这不适用于其他类,如字典。
  • 我不得不硬编码排除str(这是一个可迭代的,但没有链接到任何其他对象)。如果有更多这样的对象,这将会破坏。

我怀疑使用in不是一个好主意,但我不确定还能做什么。

1 个答案:

答案 0 :(得分:9)

我认为Pympler已经打败了你。

从他们的文件:

>>> from pympler.asizeof import asizeof
>>> obj = [1, 2, (3, 4), 'text']
>>> asizeof(obj)
176

如果您需要特定示例,可以找到asizeof here的来源。