使用memory_profiler来帮助需要在不同点释放一些内存的项目。开发环境是OS X雪豹。
如下所示,配置文件内存在414.699 MiB
左右达到峰值,但活动监视器显示该过程达到峰值的两倍(超过900 MB
)。
Line # Mem usage Increment Line Contents
================================================
24 20.441 MiB 0.000 MiB @profile
25 def do_work():
26 "Call each function in order"
27 20.445 MiB 0.004 MiB x = audio.AudioQuantumList()
28 137.098 MiB 116.652 MiB audiofile = make_objects("/Users/path/audio/Track01.mp3")
29 295.480 MiB 158.383 MiB audiofile2 = make_objects("/Users/path/audio/Track02.mp3")
30 414.699 MiB 119.219 MiB audiofile3 = make_objects("/Users/path/audio/Track03.mp3")
31 414.699 MiB 0.000 MiB x = add_to_list(audiofile, x)
32 417.426 MiB 2.727 MiB audiofile = clear_memory(audiofile)
33 417.426 MiB 0.000 MiB gc.collect()
34 417.426 MiB 0.000 MiB x = add_to_list(audiofile2, x)
35 425.047 MiB 7.621 MiB audiofile2 = clear_memory(audiofile2)
36 285.344 MiB -139.703 MiB gc.collect()
37 285.344 MiB 0.000 MiB x = add_to_list(audiofile3, x)
38 340.082 MiB 54.738 MiB audiofile3 = clear_memory(audiofile3)
39 339.582 MiB -0.500 MiB gc.collect()
memory_profiler是否正常显示CPU实际使用的内存的一半?事实上,这是在发生什么?
另请注意,如果未明确调用gc.collect
,则-139.703 MiB
行36
成为:
================================================
35 374.895 MiB -45.617 MiB audiofile2 = clear_memory(audiofile2)
答案 0 :(得分:1)
在逐行报告中,memory_profiler
测量每行执行后的内存使用情况。在函数内部的内存峰值中,例如在make_objects
内,但在函数返回之前释放内存,则memory_profiler将不会报告该用法。
变通方法还包括装饰嵌套函数(例如make_objects)或使用mprof(与memory_profiler一起分发)来报告内存使用情况作为时间的函数。