Question

我想使用cProfile在Python中分析函数的方法。我尝试了以下方法：

import cProfile as profile

# Inside the class method...
profile.run("self.myMethod()", "output_file")

但它不起作用。如何用“run”调用self.method？

Answer 1

编辑：抱歉，没有意识到个人资料的调用是类方法。

run只是尝试exec您传递的字符串。如果self未绑定到您正在使用的探查器范围内的任何内容，则无法在run中使用它！使用runctx方法将调用范围内的本地和全局变量传入分析器：

>>> import time
>>> import cProfile as profile
>>> class Foo(object):
...     def bar(self):
...             profile.runctx('self.baz()', globals(), locals())
...
...     def baz(self):
...             time.sleep(1)
...             print 'slept'
...             time.sleep(2)
...
>>> foo = Foo()
>>> foo.bar()
slept
         5 function calls in 2.999 CPU seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    2.999    2.999 <stdin>:5(baz)
        1    0.000    0.000    2.999    2.999 <string>:1(<module>)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}
        2    2.999    1.499    2.999    1.499 {time.sleep}

注意最后一行：time.sleep正在占用时间。

Answer 2

使用profilehooks装饰器

http://pypi.python.org/pypi/profilehooks

Answer 3

我不建议对单个例程进行概要分析，因为这意味着提前知道那里存在问题。

性能问题的一个基本方面是它们是偷偷摸摸的。他们不在你认为的地方，因为如果他们是你已经解决了他们。

最好使用实际工作负载运行整个程序，并让分析技术告诉您问题所在。

Here's an example，其中分析发现问题，而且不是预期的。

Answer 4

如果你的个人资料下的功能返回值，你需要稍微改变@katrielalex的优秀答案：

...             profile.runctx('val = self.baz()', globals(), locals())
...             print locals()['val']

Answer 5

  import cProfile
  p = cProfile.Profile()
  p.runcall(self.myMethod)
  p.print_stats()

here中记录了Profile类。

Answer 6

如果要制作累积探查器，意思是连续运行该函数几次并观察结果的总和。

您可以使用以下cumulative_profiler装饰器：

import cProfile, pstats

class _ProfileFunc:
    def __init__(self, func, sort_stats_by):
        self.func =  func
        self.profile_runs = []
        self.sort_stats_by = sort_stats_by

    def __call__(self, *args, **kwargs):
        pr = cProfile.Profile()
        pr.enable()  # this is the profiling section
        retval = self.func(*args, **kwargs)
        pr.disable()
        self.profile_runs.append(pr)
        ps = pstats.Stats(*self.profile_runs).sort_stats(self.sort_stats_by)
        return retval, ps

def cumulative_profiler(amount_of_times, sort_stats_by='time'):
    def real_decorator(function):
        def wrapper(*args, **kwargs):
            nonlocal function, amount_of_times, sort_stats_by  # for python 2.x remove this row

            profiled_func = _ProfileFunc(function, sort_stats_by)
            for i in range(amount_of_times):
                retval, ps = profiled_func(*args, **kwargs)
            ps.print_stats()
            return retval  # returns the results of the function
        return wrapper

    if callable(amount_of_times):  # incase you don't want to specify the amount of times
        func = amount_of_times  # amount_of_times is the function in here
        amount_of_times = 5  # the default amount
        return real_decorator(func)
    return real_decorator

示例

分析功能baz

import time

@cumulative_profiler
def baz():
    time.sleep(1)
    time.sleep(2)
    return 1

baz()

baz运行了5次并打印了此内容：

         20 function calls in 15.003 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       10   15.003    1.500   15.003    1.500 {built-in method time.sleep}
        5    0.000    0.000   15.003    3.001 <ipython-input-9-c89afe010372>:3(baz)
        5    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

指定次数

@cumulative_profiler(3)
def baz():
    ...

使用cProfile在Python中分析类的方法？

6 个答案: