Question

在一个大项目中，我遇到了一个非常慢的函数（说到几分钟到几分钟的执行时间）。该函数执行了很多操作，并且具有非常深的堆栈跟踪。虽然这个函数的执行只涉及几个类，但长期运行时的来源并不是很明显。

我开始调试函数，跟踪调用等，发现trace包非常有用。有了这个，我可以识别出一些反复汇集列表的函数，这在第一次执行后保存列表时实际上会导致大约3倍的加速。

但现在我无法真正看到任何更明显的部分，其中函数可以优化，因为跟踪包产生几兆字节的文本，我无法发现任何看起来可疑的东西。

我考虑过使用trace的timing选项，给我一些关于运行时的概述，看看哪些函数可能很慢 - 但是数据量太大了，所以总结会很好列出了每个调用的执行时间，但跟踪包似乎不支持这个？

另一个问题是，我希望在哪个级别获得执行时间。而不是单个语句很慢，但是经常调用整个函数或者不保存数据...... 所以我最终需要的是每个语句的平均执行时间乘以计数。后一个可以由跟踪包生成。

除了我可以使用的pdb和trace之外，最终还有其他工具吗？

Answer 1

您是否尝试过分析代码？下面是一个使用cProfile收集有关执行不同函数的摘要统计信息的示例：

import cProfile, pstats, StringIO
import time

# simulate a delay
def delay(ms):
    startms = int(round(time.time() * 1000))
    while (int(round(time.time() * 1000)) - startms <= ms):
        pass

def foo1():
    delay(100)

def foo2():
    for x in range(10):
        foo1()

def foo3():
    for x in range(20):
        foo1()

def foo4():
    foo2()
    foo3()

if __name__ == '__main__':
    pr = cProfile.Profile()
    pr.enable()  # start profiling

    foo4()

    pr.disable()  # end profiling
    s = StringIO.StringIO()
    sortby = 'cumulative'
    ps = pstats.Stats(pr, stream=s).sort_stats(sortby)
    ps.print_stats()
    print s.getvalue()

这是输出：

         4680454 function calls in 3.029 seconds

   Ordered by: cumulative time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    3.029    3.029 C:\Temp\test.py:21(foo4)
       30    0.000    0.000    3.029    0.101 C:\Temp\test.py:10(foo1)
       30    2.458    0.082    3.029    0.101 C:\Temp\test.py:5(delay)
        1    0.000    0.000    2.020    2.020 C:\Temp\test.py:17(foo3)
        1    0.000    0.000    1.010    1.010 C:\Temp\test.py:13(foo2)
  2340194    0.308    0.000    0.308    0.000 {round}
  2340194    0.263    0.000    0.263    0.000 {time.time}
        2    0.000    0.000    0.000    0.000 {range}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

跟踪python中慢速运行函数的原因

1 个答案: