每个实例的Python LRU缓存装饰器

时间:2013-02-18 22:12:58

标签: python caching decorator lru

使用此处的LRU Cache装饰器: http://code.activestate.com/recipes/578078-py26-and-py30-backport-of-python-33s-lru-cache/

from lru_cache import lru_cache
class Test:
    @lru_cache(maxsize=16)
    def cached_method(self, x):
         return x + 5

我可以使用它创建一个装饰类方法,但最终会创建一个适用于类Test的所有实例的全局缓存。但是,我的意图是创建每个实例缓存。因此,如果我要实例化3个测试,那么对于所有3个实例,我将有3个LRU缓存而不是1个LRU缓存。

我发现这种情况的唯一指示是在不同的类实例修饰方法上调用cache_info()时,它们都返回相同的缓存统计信息(鉴于它们与非常不同的参数进行交互,这种情况极不可能发生) ):

CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)
CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)
CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)

是否有装饰器或技巧可以让我轻松地让这个装饰器为每个类实例创建一个缓存?

3 个答案:

答案 0 :(得分:40)

假设您不想修改代码(例如,因为您希望能够只移植到3.3并使用stdlib functools.lru_cache,或者使用functools32来自PyPI而不是复制将配方粘贴到代码中),有一个明显的解决方案:为每个实例创建一个新的装饰实例方法。

class Test:
    def cached_method(self, x):
         return x + 5
    def __init__(self):
         self.cached_method = lru_cache(maxsize=16)(self.cached_method)

答案 1 :(得分:2)

这是怎么回事:一个函数装饰器,它在第一次调用每个实例时用lru_cache包装方法

def instance_method_lru_cache(*cache_args, **cache_kwargs):
    def cache_decorator(func):
        @wraps(func)
        def cache_factory(self, *args, **kwargs):
            print('creating cache')
            instance_cache = lru_cache(*cache_args, **cache_kwargs)(func)
            instance_cache = instance_cache.__get__(self, self.__class__)
            setattr(self, func.__name__, instance_cache)
            return instance_cache(*args, **kwargs)
        return cache_factory
    return cache_decorator

像这样使用:

class Foo:
    @instance_method_lru_cache()
    def times_2(self, bar):
        return bar * 2

foo1 = Foo()
foo2 = Foo()

print(foo1.times_2(2))
# creating cache
# 4
foo1.times_2(2)
# 4

print(foo2.times_2(2))
# creating cache
# 4
foo2.times_2(2)
# 4

Here's a gist on GitHub包含一些内联文档。

答案 2 :(得分:1)

这几天,methodtools将有效

from methodtools import lru_cache
class Test:
    @lru_cache(maxsize=16)
    def cached_method(self, x):
         return x + 5

您需要安装methodtools

pip install methodtools

如果您仍在使用py2,则还需要functools32

pip install functools32