是否可以使用functools.lru_cache
来缓存由functools.partial
创建的部分函数?
我的问题是一个带有可清洗参数的函数,以及NumPy数组等不可删除的对象。
考虑这个玩具示例:
import numpy as np
from functools import lru_cache, partial
def foo(key, array):
print('%s:' % key, array)
a = np.array([1,2,3])
由于NumPy数组不可清除,因此无效:
@lru_cache(maxsize=None)
def foo(key, array):
print('%s:' % key, array)
foo(1, a)
正如预期的那样,您会收到以下错误:
/Users/ch/miniconda/envs/sci34/lib/python3.4/functools.py in __init__(self, tup, hash)
349 def __init__(self, tup, hash=hash):
350 self[:] = tup
--> 351 self.hashvalue = hash(tup)
352
353 def __hash__(self):
TypeError: unhashable type: 'numpy.ndarray'
所以我的下一个想法是使用functools.partial
来摆脱NumPy数组(无论如何都是常量)
pfoo = partial(foo, array=a)
pfoo(2)
所以现在我有一个只接受hashable参数的函数,对于lru_cache
应该是完美的。但是在这种情况下可以使用lru_cache
吗?我不能用它作为包装函数而不是@lru_cache
装饰器,可以吗?
有一种聪明的方法可以解决这个问题吗?
答案 0 :(得分:8)
由于数组是常量,您可以在实际的lru缓存函数周围使用包装器,只需将键值传递给它:
from functools import lru_cache, partial
import numpy as np
def lru_wrapper(array=None):
@lru_cache(maxsize=None)
def foo(key):
return '%s:' % key, array
return foo
arr = np.array([1, 2, 3])
func = lru_wrapper(array=arr)
for x in [0, 0, 1, 2, 2, 1, 2, 0]:
print (func(x))
print (func.cache_info())
输出:
('0:', array([1, 2, 3]))
('0:', array([1, 2, 3]))
('1:', array([1, 2, 3]))
('2:', array([1, 2, 3]))
('2:', array([1, 2, 3]))
('1:', array([1, 2, 3]))
('2:', array([1, 2, 3]))
('0:', array([1, 2, 3]))
CacheInfo(hits=5, misses=3, maxsize=None, currsize=3)
答案 1 :(得分:2)
以下是将lru_cache
与functools.partial
结合使用的示例:
from functools import lru_cache, partial
import numpy as np
def foo(key, array):
return '%s:' % key, array
arr = np.array([1, 2, 3])
pfoo = partial(foo, array=arr)
func = lru_cache(maxsize=None)(pfoo)
for x in [0, 0, 1, 2, 2, 1, 2, 0]:
print(func(x))
print(func.cache_info())
输出:
('0:', array([1, 2, 3]))
('0:', array([1, 2, 3]))
('1:', array([1, 2, 3]))
('2:', array([1, 2, 3]))
('2:', array([1, 2, 3]))
('1:', array([1, 2, 3]))
('2:', array([1, 2, 3]))
('0:', array([1, 2, 3]))
CacheInfo(hits=5, misses=3, maxsize=None, currsize=3)
这比solution of @AshwiniChaudhary更为简洁,并且遵循OP的要求使用了functools.partial
。
P.S .:此解决方案改编自Applying functools.lru_cache
to lambda