Question

我正在使用sys.getsizeof，当我到达列表和数组时有点惊讶：

>>> from sys import getsizeof as sizeof
>>> list_ = range(10**6)
>>> sizeof(list_)
8000072

与数组相比：

>>> from array import array
>>> array_ = array('i', range(10**6))
>>> sizeof(array_)
56

结果列出的整数列表的大小往往是其所有元素大小的1/3，因此不能持有它们：

>>> sizeof(10**8)
24
>>> for i in xrange(0,9):
...  round(sizeof(range(10**i)) / ((10**i) * 24.0), 4), "10**%s elements" % (i)
... 
(3.3333, '10**0 elements')
(0.6333, '10**1 elements')
(0.3633, '10**2 elements')
(0.3363, '10**3 elements')
(0.3336, '10**4 elements')
(0.3334, '10**5 elements')
(0.3333, '10**6 elements')
(0.3333, '10**7 elements')
(0.3333, '10**8 elements')

是什么导致了这种行为，list都很大但没有它的所有元素那么大而且array这么小？

Answer 1

您遇到的问题是array个对象无法正确反映其大小。

直到Python 2.7.3，对象的.__sizeof__()方法不才能准确反映大小。在Python 2.7.4及更新版本以及2012年8月之后发布的任何其他新版本的Python 3中，bug fix was included增加了大小。

在Python 2.7.5上，我看到：

>>> sys.getsizeof(array_)
4000056L

符合我的64位系统对基础对象所需的56字节大小，以及每个包含的有符号整数的4个字节。

在Python 2.7.3上，我看到了：

>>> sys.getsizeof(array_)
56L

我系统上的Python list对象每个引用使用8个字节，所以它们的大小自然几乎是它的两倍。

Answer 2

getsizeof函数不会像列表那样测量容器中项目的大小。您需要添加所有单个元素。

Here是这样做的一个方法。

转载于此：

from __future__ import print_function
from sys import getsizeof, stderr
from itertools import chain
from collections import deque
try:
    from reprlib import repr
except ImportError:
    pass

def total_size(o, handlers={}, verbose=False):
    """ Returns the approximate memory footprint an object and all of its contents.

    Automatically finds the contents of the following builtin containers and
    their subclasses:  tuple, list, deque, dict, set and frozenset.
    To search other containers, add handlers to iterate over their contents:

        handlers = {SomeContainerClass: iter,
                    OtherContainerClass: OtherContainerClass.get_elements}

    """
    dict_handler = lambda d: chain.from_iterable(d.items())
    all_handlers = {tuple: iter,
                    list: iter,
                    deque: iter,
                    dict: dict_handler,
                    set: iter,
                    frozenset: iter,
                   }
    all_handlers.update(handlers)     # user handlers take precedence
    seen = set()                      # track which object id's have already been seen
    default_size = getsizeof(0)       # estimate sizeof object without __sizeof__

    def sizeof(o):
        if id(o) in seen:       # do not double count the same object
            return 0
        seen.add(id(o))
        s = getsizeof(o, default_size)

        if verbose:
            print(s, type(o), repr(o), file=stderr)

        for typ, handler in all_handlers.items():
            if isinstance(o, typ):
                s += sum(map(sizeof, handler(o)))
                break
        return s

    return sizeof(o)

如果你使用那个食谱并在列表上运行它，你可以看到差异：

>>> alist=[[2**99]*10, 'a string', {'one':1}]
>>> print('getsizeof: {}, total_size: {}'.format(getsizeof(alist), total_size(alist)))
getsizeof: 96, total_size: 721

导致python列表（大）大小的原因是什么？

2 个答案: