Question

我正在使用iPython来运行我的代码。我想知道是否有任何模块或命令可以让我检查一个对象的内存使用情况。例如：

In [1]: a = range(10000)
In [2]: %memusage a
Out[2]: 1MB

类似于%memusage <object>并返回对象使用的内存。

复制

Find out how much memory is being used by an object in Python

Answer 1

不幸的是，这是不可能的，但有很多方法可以接近答案：

对于非常简单的对象（例如整数，字符串，浮点数，双精度数），它们或多或少地表示为简单的C语言类型，您可以像John Mulder's solution一样简单地计算字节数。
对于更复杂的对象，一个很好的近似是使用cPickle.dumps将对象序列化为字符串。字符串的长度很好地近似了存储对象所需的内存量。

解决方案2有一个很大的障碍，即对象通常包含对其他对象的引用。例如，dict包含字符串键和其他对象作为值。那些其他对象可能是共享的。由于pickle总是尝试对对象进行完整的序列化，因此它总是会高估存储对象所需的内存量。

Answer 2

如果您使用的是numpy array，那么您可以使用属性ndarray.nbytes来评估其在内存中的大小：

from pylab import *   
d = array([2,3,4,5])   
d.nbytes
#Output: 32

Answer 3

更新：这是another，可能是更全面的估计python对象大小的方法。

以下是解决类似问题的thread

建议的解决方案是编写自己的...使用已知的基元大小，python的对象开销和内置容器类型的大小的一些估计。

由于代码不长，所以这是它的直接副本：

def sizeof(obj):
    """APPROXIMATE memory taken by some Python objects in 
    the current 32-bit CPython implementation.

    Excludes the space used by items in containers; does not
    take into account overhead of memory allocation from the
    operating system, or over-allocation by lists and dicts.
    """
    T = type(obj)
    if T is int:
        kind = "fixed"
        container = False
        size = 4
    elif T is list or T is tuple:
        kind = "variable"
        container = True
        size = 4*len(obj)
    elif T is dict:
        kind = "variable"
        container = True
        size = 144
        if len(obj) > 8:
            size += 12*(len(obj)-8)
    elif T is str:
        kind = "variable"
        container = False
        size = len(obj) + 1
    else:
        raise TypeError("don't know about this kind of object")
    if kind == "fixed":
        overhead = 8
    else: # "variable"
        overhead = 12
    if container:
        garbage_collector = 8
    else:
        garbage_collector = 0
    malloc = 8 # in most cases
    size = size + overhead + garbage_collector + malloc
    # Round to nearest multiple of 8 bytes
    x = size % 8
    if x != 0:
        size += 8-x
        size = (size + 8)
    return size

Answer 4

我试图弄清楚如何为自己做到这一点。我在此页面和其他页面上尝试了几种解决方案。然后，我进行了一些搜索，发现https://ipython-books.github.io/44-profiling-the-memory-usage-of-your-code-with-memory_profiler/似乎提供了一种替代解决方案。解决方案的要点：在ipython中使用%mprun。

首先，安装memory_profiler：pip install memory_profiler
启动ipython并加载memory_profiler：％load_ext memory_profiler
在物理文件中创建一个函数，例如myfunc.py（重要：％mprun仅可用于物理文件中定义的函数）。在函数中创建有问题的对象，例如：

# myfunc.py
def myfunc():
    # create the object, e.g.
    a = [*range(10000)]

运行

from myfunc import myfunc
%mprun -T mprof -f myfunc myfunc()

生成文件mprof。还显示内容：

Line #    Mem usage    Increment   Line Contents
================================================
     1     49.1 MiB     49.1 MiB   def myfunc():
     2                                 # create the object, e.g.
     3     49.4 MiB      0.3 MiB       a = [*range(10000)]

根据第3行的信息，我们知道a使用的内存为0.3 MiB。

让我们尝试a = [*range(100000)]：

# myfunc1.py
def myfunc1():
    # create the object, e.g.
    a = [*range(100000)]

运行

from myfunc1 import myfunc1
%mprun -T mprof1 -f myfunc1 myfunc1()

Line #    Mem usage    Increment   Line Contents
================================================
     1     49.2 MiB     49.2 MiB   def myfunc1():
     2                                 # create the object, e.g.
     3     52.3 MiB      3.0 MiB       a = [*range(100000)]

似乎符合我们的期望。

如何检查iPython中对象的内存使用情况？

4 个答案: