为什么python中的函数/方法调用很昂贵?

时间:2014-04-06 11:04:26

标签: python profiling function-calls python-internals

this post中,Guido van Rossum说功能调用可能很昂贵,但我不明白为什么也不贵。

为您的代码添加多少延迟简单的函数调用以及为什么?

3 个答案:

答案 0 :(得分:19)

函数调用要求暂停当前执行帧,并在堆栈上创建并推送新帧。与许多其他操作相比,这相对昂贵。

您可以使用timeit模块测量所需的确切时间:

>>> import timeit
>>> def f(): pass
... 
>>> timeit.timeit(f)
0.15175890922546387

对于一百万次呼叫空功能而言,这是1/6秒你需要将所需的时间与你想要放入函数的任何东西进行比较;如果表现是一个问题,则需要考虑0.15秒。

答案 1 :(得分:6)

任何形式的声明" X都很昂贵"没有考虑到性能总是与其他正在发生的事情相关,相对于其他任务而言,任务都可以完成。

有很多关于SO的问题表达了对可能存在但通常不存在性能问题的担忧。

至于功能调用是否昂贵,这是一个由两部分组成的答案。

  1. 对于功能很少但不调用其他子功能的功能,并且在特定应用程序中的功能占总壁钟时间的10%以上,值得尝试内联它们或以其他方式降低调用成本。

  2. 在包含复杂数据结构和/或高抽象层次结构的应用程序中,函数调用很昂贵,不是因为它们花费的时间,而是因为它们诱使您制作更多的函数而不是严格必要的函数。当这种情况发生在多个抽象层次上时,效率低下就会成倍增加,产生一种不易局部化的复合减速。

  3. 生成高效代码的方法是 a posteriori ,而不是先验。 首先编写代码,使其干净且可维护,包括您喜欢的函数调用。 然后,当它以实际工作负载运行时,让它告诉您可以采取哪些措施来加快速度。 Here's an example.

答案 2 :(得分:3)

Python有"relatively high"个函数调用开销,这是我们为使用Python的一些最有用功能所付出的费用。

猴子补丁:

您拥有处理Python中的猴子补丁/覆盖行为的强大功能,以至于解释器无法保证给出的

 a, b = X(1), X(2)
 return a.fn() + b.fn() + a.fn()

a.fn()和b.fn()相同,或者在调用b.fn()之后a.fn()将相同。

In [1]: def f(a, b):
   ...:     return a.fn() + b.fn() + c.fn()
   ...:

In [2]: dis.dis(f)
  1           0 LOAD_FAST                0 (a)
              3 LOAD_ATTR                0 (fn)
              6 CALL_FUNCTION            0
              9 LOAD_FAST                1 (b)
             12 LOAD_ATTR                0 (fn)
             15 CALL_FUNCTION            0
             18 BINARY_ADD
             19 LOAD_GLOBAL              1 (c)
             22 LOAD_ATTR                0 (fn)
             25 CALL_FUNCTION            0
             28 BINARY_ADD
             29 RETURN_VALUE

在上面,您可以看到在每个位置都在查找'fn'。变量也一样,但是人们似乎对此更加了解。

In [11]: def g(a):
    ...:     return a.i + a.i + a.i
    ...:

In [12]: dis.dis(g)
  2           0 LOAD_FAST                0 (a)
              3 LOAD_ATTR                0 (i)
              6 LOAD_FAST                0 (a)
              9 LOAD_ATTR                0 (i)
             12 BINARY_ADD
             13 LOAD_FAST                0 (a)
             16 LOAD_ATTR                0 (i)
             19 BINARY_ADD
             20 RETURN_VALUE

更糟糕的是,由于模块可以猴子修补/替换自身/彼此替换,因此,如果您调用的是全局/模块功能,则必须每次都查询全局/模块:

In [16]: def h():
    ...:     v = numpy.vector(numpy.vector.identity)
    ...:     for i in range(100):
    ...:         v = numpy.vector.add(v, numpy.vector.identity)
    ...:

In [17]: dis.dis(h)
  2           0 LOAD_GLOBAL              0 (numpy)
              3 LOAD_ATTR                1 (vector)
              6 LOAD_GLOBAL              0 (numpy)
              9 LOAD_ATTR                1 (vector)
             12 LOAD_ATTR                2 (identity)
             15 CALL_FUNCTION            1
             18 STORE_FAST               0 (v)

  3          21 SETUP_LOOP              47 (to 71)
             24 LOAD_GLOBAL              3 (range)
             27 LOAD_CONST               1 (100)
             30 CALL_FUNCTION            1
             33 GET_ITER
        >>   34 FOR_ITER                33 (to 70)
             37 STORE_FAST               1 (i)

  4          40 LOAD_GLOBAL              0 (numpy)
             43 LOAD_ATTR                1 (vector)
             46 LOAD_ATTR                4 (add)
             49 LOAD_FAST                0 (v)
             52 LOAD_GLOBAL              0 (numpy)
             55 LOAD_ATTR                1 (vector)
             58 LOAD_ATTR                2 (identity)
             61 CALL_FUNCTION            2
             64 STORE_FAST               0 (v)
             67 JUMP_ABSOLUTE           34
        >>   70 POP_BLOCK
        >>   71 LOAD_CONST               0 (None)
             74 RETURN_VALUE

WORKAROUND

考虑捕获或导入您不希望突变的任何值:

def f1(files):
    for filename in files:
        if os.path.exists(filename):
            yield filename

# vs

def f2(files):
    from os.path import exists
    for filename in files:
        if exists(filename):
            yield filename

# or

def f3(files, exists=os.path.exists):
    for filename in files:
        if exists(filename):
            yield filename

另请参阅“在野外”部分

虽然并不总是可以导入;例如,您可以导入sys.stdin但不能导入sys.stdin.readline,而numpy类型可能会遇到类似的问题:

In [15]: def h():
    ...:     from numpy import vector
    ...:     add = vector.add
    ...:     idy = vector.identity
    ...:     v   = vector(idy)
    ...:     for i in range(100):
    ...:         v = add(v, idy)
    ...:

In [16]: dis.dis(h)
  2           0 LOAD_CONST               1 (-1)
              3 LOAD_CONST               2 (('vector',))
              6 IMPORT_NAME              0 (numpy)
              9 IMPORT_FROM              1 (vector)
             12 STORE_FAST               0 (vector)
             15 POP_TOP

  3          16 LOAD_FAST                0 (vector)
             19 LOAD_ATTR                2 (add)
             22 STORE_FAST               1 (add)

  4          25 LOAD_FAST                0 (vector)
             28 LOAD_ATTR                3 (identity)
             31 STORE_FAST               2 (idy)

  5          34 LOAD_FAST                0 (vector)
             37 LOAD_FAST                2 (idy)
             40 CALL_FUNCTION            1
             43 STORE_FAST               3 (v)

  6          46 SETUP_LOOP              35 (to 84)
             49 LOAD_GLOBAL              4 (range)
             52 LOAD_CONST               3 (100)
             55 CALL_FUNCTION            1
             58 GET_ITER
        >>   59 FOR_ITER                21 (to 83)
             62 STORE_FAST               4 (i)

  7          65 LOAD_FAST                1 (add)
             68 LOAD_FAST                3 (v)
             71 LOAD_FAST                2 (idy)
             74 CALL_FUNCTION            2
             77 STORE_FAST               3 (v)
             80 JUMP_ABSOLUTE           59
        >>   83 POP_BLOCK
        >>   84 LOAD_CONST               0 (None)
             87 RETURN_VALUE

凯夫特Emper: -捕获变量不是零成本的操作,它会增加帧大小, -仅在识别热代码路径后使用,


参数传递

Python的参数传递机制看似微不足道,但与大多数语言不同,它花费了很多 。我们正在谈论将参数分为args和kwargs:

f(1, 2, 3)
f(1, 2, c=3)
f(c=3)
f(1, 2)  # c is auto-injected

CALL_FUNCTION操作中有很多工作要做,包括可能从C层到Python层再到Python层的一次过渡。

除此之外,经常需要查找参数以进行传递:

f(obj.x, obj.y, obj.z)

考虑:

In [28]: def fn(obj):
    ...:     f = some.module.function
    ...:     for x in range(1000):
    ...:         for y in range(1000):
    ...:             f(x + obj.x, y + obj.y, obj.z)
    ...:

In [29]: dis.dis(fn)
  2           0 LOAD_GLOBAL              0 (some)
              3 LOAD_ATTR                1 (module)
              6 LOAD_ATTR                2 (function)
              9 STORE_FAST               1 (f)

  3          12 SETUP_LOOP              76 (to 91)
             15 LOAD_GLOBAL              3 (range)
             18 LOAD_CONST               1 (1000)
             21 CALL_FUNCTION            1
             24 GET_ITER
        >>   25 FOR_ITER                62 (to 90)
             28 STORE_FAST               2 (x)

  4          31 SETUP_LOOP              53 (to 87)
             34 LOAD_GLOBAL              3 (range)
             37 LOAD_CONST               1 (1000)
             40 CALL_FUNCTION            1
             43 GET_ITER
        >>   44 FOR_ITER                39 (to 86)
             47 STORE_FAST               3 (y)

  5          50 LOAD_FAST                1 (f)
             53 LOAD_FAST                2 (x)
             56 LOAD_FAST                0 (obj)
             59 LOAD_ATTR                4 (x)
             62 BINARY_ADD
             63 LOAD_FAST                3 (y)
             66 LOAD_FAST                0 (obj)
             69 LOAD_ATTR                5 (y)
             72 BINARY_ADD
             73 LOAD_FAST                0 (obj)
             76 LOAD_ATTR                6 (z)
             79 CALL_FUNCTION            3
             82 POP_TOP
             83 JUMP_ABSOLUTE           44
        >>   86 POP_BLOCK
        >>   87 JUMP_ABSOLUTE           25
        >>   90 POP_BLOCK
        >>   91 LOAD_CONST               0 (None)
             94 RETURN_VALUE

其中“ LOAD_GLOBAL”要求对名称进行哈希处理,然后在全局表中查询该哈希值。这是O(log N)操作。

但是请考虑一下:对于我们的两个简单的0-1000循环,我们做了一百万次...

LOAD_FAST和LOAD_ATTR也是哈希表查找,它们仅限于特定的哈希表。 LOAD_FAST查阅locals()哈希表,LOAD_ATTR查阅最后加载的对象的哈希表...

但是还要注意,我们在那里调用一个函数一百万次。幸运的是,它是一个内置函数,内置函数的开销要小得多。但是,如果这确实是您的性能热点,则可能需要考虑通过执行以下操作来优化范围的开销:

x, y = 0, 0
for i in range(1000 * 1000):
    ....
    y += 1
    if y > 1000:
        x, y = x + 1, 0

可以对捕获变量进行一些修改,但是对代码的性能影响可能很小,并且使其维护性较差。

但是解决此问题的核心pythonic解决方案是使用生成器或可迭代项:

for i in obj.values():
    prepare(i)

# vs

prepare(obj.values())

for i in ("left", "right", "up", "down"):
    test_move(i)

# vs

test_move(("left", "right", "up", "down"))

for x in range(-1000, 1000):
    for y in range(-1000, 1000):
        fn(x + obj.x, y + obj.y, obj.z)

# vs

def coordinates(obj):
    for x in range(obj.x - 1000, obj.x + 1000 + 1):
        for y in range(obj.y - 1000, obj.y + 1000 + 1):
          yield obj.x, obj.y, obj.z

fn(coordinates(obj))

在野外

您将以如下形式在野外看到这些假视:

def some_fn(a, b, c, stdin=sys.stdin):
    ...

这有几个优点:

  • 影响此函数的help(),(默认输入为stdin)
  • 为单元测试提供了一个钩子,
  • 将sys.stdin升级到本地(LOAD_FAST与LOAD_GLOBAL + LOAD_ATTR)

大多数numpy调用采用或具有采用列表,数组等的变体,如果不使用它们,则可能会错过numpy的99%的收益。

def distances(target, candidates):
    values = []
    for candidate in candidates:
        values.append(numpy.linalg.norm(candidate - target))
    return numpy.array(values)

# vs

def distances(target, candidates):
    return numpy.linalg.norm(candidates - target)

(注意:这不一定是获取距离的最佳方法,尤其是如果您不打算将距离值转发到其他地方;例如,如果您正在执行范围检查,使用更具选择性的方法可能更有效避免使用sqrt操作的方法)

优化可迭代对象不仅意味着传递它们,而且还返回它们

def f4(files, exists=os.path.exists):
    return (filename for filename in files if exists(filename))
           ^- returns a generator expression