使用functools.lru_cache时,最大递归深度达到更快

时间:2013-03-06 04:39:48

标签: python recursion memoization python-3.3

我一直在使用python 3.3中的memoization和recursion

忽略python是错误的语言这一事实​​,我发现在使用 functools.lru_cache进行memoize和不使用之间会得到不一致的结果 functools.lru_cache

我没有改变递归限制 - 它保持默认值,对我来说是1000。

为了测试这个问题,我写了一个简单的递归函数来对从1到i的数字求和

#!/usr/bin/python

def sumtil(i):
"""Recursive function to sum all numbers from 1 through i"""

    # Base case, the sum of all numbers from 1 through 1 is 1... 
    if i == 1:
        return 1
    else:
        return i+sumtil(i-1)

# This will not throw an exception
sumtil(998)

# This will throw an exception
sumtil(999)

正常运行此函数,我可以轻松运行sumtil(998)而不会达到递归限制。 sumtil(999)或更高版本会引发异常。

但是,如果我尝试使用@functools.lru_cache()装饰此函数,则在运行sumtil(333)

时,会先提前 3次递归限制异常
#!/usr/bin/python

import functools 

@functools.lru_cache(maxsize=128)
def sumtil(i):
    """Recursive function to sum all numbers from 1 through i"""

    # Base case, the sum of all numbers from 1 through 1 is 1... 
    if i == 1:
        return 1
    else:
        return i+sumtil(i-1)

# This will not throw an exception
sumtil(332)

# This will throw an exception
sumtil(333)

由于332 * 3 = 996,但333 * 3 = 999,在我看来lru_cache装饰器导致我的函数中的每个级别的递归变为三级递归。

使用functools.lru_cache记忆函数时,为什么我会得到三倍的递归级别?

1 个答案:

答案 0 :(得分:5)

因为装饰器是一个额外的功能,所以它“使用”堆栈中的一个级别。例如:

>>> def foo(f):
...   def bar(i):
...     if i == 1:
...       raise Exception()
...     return f(i)
...   return bar
...
>>> @foo
... def sumtil(i):
...     if i == 1:
...         return 1
...     else:
...         return i+sumtil(i-1)
...
>>> sumtil(3)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 5, in bar
  File "<stdin>", line 6, in sumtil
  File "<stdin>", line 5, in bar
  File "<stdin>", line 6, in sumtil
  File "<stdin>", line 4, in bar
Exception
>>>

此外,如果装饰器使用argument packing/unpacking,则使用额外的级别(尽管我对Python运行时的知识不足以解释为什么会发生这种情况)。

def foo(f):
  def bar(*args,**kwargs):
    return f(*args,**kwargs)
  return bar

最大。超出递归深度:

  • 未修饰:1000
  • 没有包装:500
  • 包装:334