重新分配功能属性使其无法访问'

时间:2014-10-29 16:45:28

标签: python function-attributes

我有一个简单的小装饰器,它将dict中函数调用的结果缓存为函数属性。

from decorator import decorator
def _dynamic_programming(f, *args, **kwargs):
    try:
        f.cache[args]
    except KeyError:
        f.cache[args] = f(*args, **kwargs)
    return f.cache[args]

def dynamic_programming(f):
    f.cache = {}
    return decorator(_dynamic_programming, f)

我现在想添加清空缓存的可能性。所以我改变dynamic_programming()这样的函数:

def dynamic_programming(f):
    f.cache = {}
    def clear():
        f.cache = {}
    f.clear = clear
    return decorator(_dynamic_programming, f)

现在让我们假设我使用这个小东西来实现斐波纳契数函数:

@dynamic_programming
def fib(n):
    if n <= 1:
        return 1
    else:
        return fib(n-1) + fib(n-2)

>>> fib(4)
5
>>> fib.cache
{(0,): 1, (1,): 1, (2,): 2, (3,): 3, (4,): 5}

但是现在当我清除缓存时会发生一些奇怪的事情:

>>> fib.clear()
>>> fib.cache
{(0,): 1, (1,): 1, (2,): 2, (3,): 3, (4,): 5}

或者(运行新的Python内核)反过来做:

>>> fib.clear()
>>> fib(4)
5
>>> fib.cache
{}

为什么缓存在某种程度上无法达到&#39;首次访问后,即在clear()之后的通话或通话后拨打clear()时没有更改?

(顺便说一句。我知道一个正确清除缓存的解决方案:调用f.cache.clear()而不是将{}分配给它按预期工作。我只是对原因<感兴趣< / em>分配解决方案失败的原因。)

2 个答案:

答案 0 :(得分:7)

问题在于decorator模块。如果您向装饰器添加一些print语句:

from decorator import decorator
def _dynamic_programming(f, *args, **kwargs):
    print "Inside decorator", id(f.cache)
    try:
        f.cache[args]
    except KeyError:
        f.cache[args] = f(*args, **kwargs)
    return f.cache[args]

def dynamic_programming(f):
    f.cache = {}
    print "Original cache", id(f.cache)
    def clear():
        f.cache = {}
        print "New cache", id(f.cache)
    f.clear = clear
    return decorator(_dynamic_programming, f)

@dynamic_programming
def fib(n):
    if n <= 1:
        return 1
    else:
        return fib(n-1) + fib(n-2)

print fib(4)
print id(fib.cache)
fib.clear()
print id(fib.cache)
print fib(10)
print id(fib.cache)

输出(跳过重复的行):

Original cache 139877501744024
Inside decorator 139877501744024
5
139877501744024
New cache 139877501802208
139877501744024
Inside decorator 139877501802208
89
139877501744024

如您所见,装饰器内的cache根据clear函数而变化。但是,从cache访问的__main__不会更改。打印装饰器外部和内部的cache可以提供更清晰的图像(同样,重复跳过):

Inside decorator {}
Inside decorator {(1,): 1}
Inside decorator {(2,): 2, (0,): 1, (1,): 1}
Inside decorator {(2,): 2, (0,): 1, (3,): 3, (1,): 1}
5
Outside {(2,): 2, (0,): 1, (3,): 3, (1,): 1, (4,): 5}
Inside decorator {}
Inside decorator {(1,): 1}
Inside decorator {(2,): 2, (0,): 1, (1,): 1}
Inside decorator {(2,): 2, (0,): 1, (3,): 3, (1,): 1}
Inside decorator {(2,): 2, (0,): 1, (3,): 3, (1,): 1, (4,): 5}
Inside decorator {(0,): 1, (1,): 1, (2,): 2, (3,): 3, (4,): 5, (5,): 8}
Inside decorator {(0,): 1, (1,): 1, (2,): 2, (3,): 3, (4,): 5, (5,): 8, (6,): 13}
Inside decorator {(0,): 1, (1,): 1, (2,): 2, (3,): 3, (4,): 5, (5,): 8, (6,): 13, (7,): 21}
Inside decorator {(0,): 1, (1,): 1, (2,): 2, (8,): 34, (3,): 3, (4,): 5, (5,): 8, (6,): 13, (7,): 21}
Inside decorator {(0,): 1, (1,): 1, (2,): 2, (8,): 34, (3,): 3, (9,): 55, (4,): 5, (5,): 8, (6,): 13, (7,): 21}
89
Outside {(2,): 2, (0,): 1, (3,): 3, (1,): 1, (4,): 5}

如您所见,内部变化不会在外部回应。问题是在the decorator module内,有一条线(在用于制作装饰器的类中):

self.dict = func.__dict__.copy()

然后later

func.__dict__ = getattr(self, 'dict', {})

基本上,外部的__dict__与内部的__dict__不同。这意味着:

  • 装饰器
  • 复制(未引用)__dict__
  • cache更改时,它会更改内部__dict__,而不会更改外部__dict__
  • 因此,cache使用的_dynamic_programming已被清除,但您无法从外部看到,因为装饰者__dict__仍指向旧版cache {1}}(如上所示,内部cache更新,而外部cache保持不变)

总而言之,这是decorator模块的问题。

答案 1 :(得分:3)

所以@matsjoyce的回答非常有趣而且深入,我知道你已经有了解决方案,但我总是觉得写一个自己的装饰者更清楚一点:

def dynamic_programming(f):
    def wrapper(*args, **kwargs):
        try:
            return wrapper.cache[args]            
        except KeyError:
            res = wrapper.cache[args] = f(*args, **kwargs)
            return res
    wrapper.cache = {}
    wrapper.clear = wrapper.cache.clear
    return wrapper