真实内存与异形内存python

时间:2014-09-02 23:19:46

标签: python garbage-collection memory-profiling

使用memory_profiler来帮助需要在不同点释放一些内存的项目。开发环境是OS X雪豹。

如下所示,配置文件内存在414.699 MiB左右达到峰值,但活动监视器显示该过程达到峰值的两倍(超过900 MB)。

    Line #    Mem usage    Increment   Line Contents
================================================
    24   20.441 MiB    0.000 MiB   @profile
    25                             def do_work():
    26                                 "Call each function in order"
    27   20.445 MiB    0.004 MiB       x = audio.AudioQuantumList() 
    28  137.098 MiB  116.652 MiB       audiofile = make_objects("/Users/path/audio/Track01.mp3")
    29  295.480 MiB  158.383 MiB       audiofile2 = make_objects("/Users/path/audio/Track02.mp3")
    30  414.699 MiB  119.219 MiB       audiofile3 = make_objects("/Users/path/audio/Track03.mp3")
    31  414.699 MiB    0.000 MiB       x = add_to_list(audiofile, x)
    32  417.426 MiB    2.727 MiB       audiofile = clear_memory(audiofile)  
    33  417.426 MiB    0.000 MiB       gc.collect()
    34  417.426 MiB    0.000 MiB       x = add_to_list(audiofile2, x)
    35  425.047 MiB    7.621 MiB       audiofile2 = clear_memory(audiofile2)  
    36  285.344 MiB -139.703 MiB       gc.collect()
    37  285.344 MiB    0.000 MiB       x = add_to_list(audiofile3, x)
    38  340.082 MiB   54.738 MiB       audiofile3 = clear_memory(audiofile3)  
    39  339.582 MiB   -0.500 MiB       gc.collect()

memory_profiler是否正常显示CPU实际使用的内存的一半?事实上,这是在发生什么?

另请注意,如果未明确调用gc.collect,则-139.703 MiB36成为:

================================================
35  374.895 MiB  -45.617 MiB       audiofile2 = clear_memory(audiofile2)

1 个答案:

答案 0 :(得分:1)

在逐行报告中,memory_profiler测量每行执行后的内存使用情况。在函数内部的内存峰值中,例如在make_objects内,但在函数返回之前释放内存,则memory_profiler将不会报告该用法。

变通方法还包括装饰嵌套函数(例如make_objects)或使用mprof(与memory_profiler一起分发)来报告内存使用情况作为时间的函数。