Question

我正在开发一个涉及从保存在内存中的大型列表中访问数据的项目。因为列表非常庞大（数百万行），所以我会关注使用多少内存。我使用OS X，因此我在创建这些列表时保持活动监视器处于打开状态。

我注意到列表使用的内存量可能会有很大差异，具体取决于它的构造方式，但我似乎无法弄清楚原因。

现在举一些示例代码：

（我在OSX 10.8.3上使用Python 2.7.4）

下面的第一个函数创建一个列表，并用相同的三个随机数填充它。

下面的第二个功能创建一个列表，并用所有不同的随机数填充它。

import random
import sys


def make_table1(size):
    list1 = size *[(float(),float(),float())] # initialize the list
    line = (random.random(), 
            random.random(), 
            random.random())
    for count in xrange(0, size): # Now fill it
        list1[count] = line
    return list1

def make_table2(size):
    list1 = size *[(float(),float(),float())] # initialize the list
    for count in xrange(0, size): # Now fill it
        list1[count] = (random.random(), 
                        random.random(), 
                        random.random())
    return list1

（首先我要说的是，我意识到上面的代码可以更有效地编写。它是用这种方式编写的，以保持两个示例尽可能相似。）

现在我使用这些函数创建一些列表：

In [2]: thing1 = make_table1(6000000)

In [3]: sys.getsizeof(thing1)
Out[3]: 48000072

此时我的内存使用了大约46 MB，这是我对上面给出的信息所期望的。

现在进行下一个功能：

In [4]: thing2 = make_table2(6000000)

In [5]: sys.getsizeof(thing2)
Out[5]: 48000072

如您所见，两个列表占用的内存是相同的。它们的长度完全相同，这是可以预期的。我没想到的是，我在Activity Monitor中使用的内存超过了1 GB！

我知道会有一些开销但是20倍之多？一个46MB的列表1 GB？

真的？

好的，关于诊断...

我尝试的第一件事就是收集任何垃圾：

In [5]: import gc

In [6]: gc.collect()
Out[6]: 0

它与使用的内存量没有差别。

接下来我使用孔雀鱼来看看记忆的去向：

In [7]: from guppy import hpy

In [8]: hpy().heap()

Out[8]: 
Partition of a set of 24217689 objects. Total size = 1039012560 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0 6054789  25 484821768  47 484821768  47 tuple
     1 18008261  74 432198264  42 917020032  88 float
     2   2267   0 96847576   9 1013867608  98 list
     3  99032   0 11392880   1 1025260488  99 str
     4    585   0  1963224   0 1027223712  99 dict of module
     5   1712   0  1799552   0 1029023264  99 dict (no owner)
     6  13606   0  1741568   0 1030764832  99 types.CodeType
     7  13355   0  1602600   0 1032367432  99 function
     8   1494   0  1348088   0 1033715520  99 type
     9   1494   0  1300752   0 1035016272 100 dict of type
<691 more rows. Type e.g. '_.more' to view.>

好吧，我的记忆被接受了：

462 MB的元组（呵呵？）

412 MB浮动（什么？）

92 MB的列表（好的，这个有意义.2 * 46MB = 92）

我的列表已预先分配，所以我认为没有超额分配。

问题：

为什么这两个非常相似的列表使用的内存量如此不同？

是否有不同的方法来填充没有那么多开销的列表？

有没有办法释放所有的记忆？

注意：请不要建议存储在磁盘上或使用array.array或numpy或pandas数据结构。这些都是很好的选择，但这个问题与他们无关。这个问题是关于普通的旧名单。

我在Python 3.3中尝试过类似的代码，结果是一样的。

这是有similar problem的人。它包含一些提示，但这不是同一个问题。

谢谢大家！

Answer 1

这两个函数都列出了6000000个引用。

sizeof(thelist) ≅ sizeof(reference_to_a_python_object) * 6000000

第一个列表包含对同一个三个浮点元组的6000000个引用。

第二个列表包含对6000000个不同元组的引用，这些元组包含18000000个不同的浮点数。

enter image description here

正如您所看到的，float需要24个字节，而Triple需要80个字节（使用您的python版本）。不，除了numpy之外没有别的办法。

要将列表转换为可收集的垃圾，您需要删除对它们的任何引用：

del thing1 
del thing2

Python列出异常内存使用情况

1 个答案: