Python函数调用非常慢

时间:2013-02-01 14:22:44

标签: python function profiling call

这主要是为了确保我的方法是正确的,但我的基本问题是,如果我需要访问该功能,那么在函数外检查是否值得。我知道,我知道,过早优化,但在很多情况下,它在函数调用中放置一个if语句以确定是否需要运行其余代码,或者将它放在函数调用之前。换句话说,它不会以任何方式做到这一点。现在,所有的检查都在两者之间混合,我想让它变得更好和标准化。

我问的主要原因是因为我看到的其他答案主要是参考timeit,但这给了我负数,所以我转到了这个:

import timeit
import cProfile

def aaaa(idd):
    return idd

def main():
    #start = timeit.timeit()
    for i in range(9999999):
        a = 5
    #end = timeit.timeit()
    #print("1", end - start)

def main2():
    #start = timeit.timeit()
    for i in range(9999999):
        aaaa(5)
    #end = timeit.timeit()
    #print("2", end - start)

cProfile.run('main()', sort='cumulative')
cProfile.run('main2()', sort='cumulative')

得到了输出

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    0.310    0.310 {built-in method exec}
        1    0.000    0.000    0.310    0.310 <string>:1(<module>)
        1    0.310    0.310    0.310    0.310 test.py:7(main)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    2.044    2.044 {built-in method exec}
        1    0.000    0.000    2.044    2.044 <string>:1(<module>)
        1    1.522    1.522    2.044    2.044 test.py:14(main2)
  9999999    0.521    0.000    0.521    0.000 test.py:4(aaaa)

对我来说,显示不调用该函数是.31秒,并且调用它需要1.52秒,这几乎慢了5倍。但就像我说的那样,我得到了带有timeit的负数,所以我想确保它实际上 缓慢。

同样从我收集的内容来看,函数调用的原因是如此缓慢是因为python需要查找以确保函数在运行之前仍然存在或其他什么?是不是有任何方法只是告诉它喜欢...假设一切仍然存在,以便它不必做不必要的工作(显然)减慢它5倍?

1 个答案:

答案 0 :(得分:35)

你在这里比较苹果和梨。一种方法执行简单的赋值,另一种方法调用函数。是的,函数调用增加开销。

你应该将其剥离到timeit

的最低限度
>>> import timeit
>>> timeit.timeit('a = 5')
0.03456282615661621
>>> timeit.timeit('foo()', 'def foo(): a = 5')
0.14389896392822266

现在我们所做的只是添加一个函数调用(foo执行相同的操作),因此您可以测量函数调用所需的额外时间。你不能说这差不多慢了4倍,不,函数调用 1.000.000 迭代增加 0.11秒的开销。

如果不是a = 5而是我们做了0.5秒执行一百万次迭代的事情,那么将它们移动到一个函数将不会花费2秒钟。它现在需要0.61秒,因为函数开销不会增长。

函数调用需要操作堆栈,将本地帧推到堆栈上,创建一个新帧,然后在函数返回时将其全部清除。

换句话说,将语句移动到函数会增加一小部分开销,并且移动到该函数的语句越多,开销就越小,占总工作量的百分比。函数从不使这些语句本身变慢。

Python函数只是存储在变量中的对象;您可以将函数分配给不同的变量,将它们替换为完全不同的变量,或者随时删除它们。当您调用函数时,首先引用它们的存储名称(foo),然后调用函数对象((arguments));该查找必须每次都以动态语言进行。

您可以在为函数生成的字节码中看到这一点:

>>> def foo():
...     pass
... 
>>> def bar():
...     return foo()
... 
>>> import dis
>>> dis.dis(bar)
  2           0 LOAD_GLOBAL              0 (foo)
              3 CALL_FUNCTION            0
              6 RETURN_VALUE        

LOAD_GLOBAL操作码在全局命名空间中查找名称(foo)(基本上是哈希表查找),并将结果推送到堆栈中。 CALL_FUNCTION然后调用堆栈上的任何内容,将其替换为返回值。 RETURN_VALUE从函数调用返回,再次将堆栈中最顶层的任何内容作为返回值。