为什么`joblib.delayed`不能作为装饰器工作?

时间:2016-08-09 09:00:33

标签: python python-2.7 decorator python-decorators joblib

joblib有一个函数delayed,它捕获传递给函数的参数。它可以用作例如:

from joblib import delayed

def f(n):
    return n**2

delayed(f)(2)
# (<function f at 0x7f939eb3fe60>, (2,), {})
h = delayed(f)
h(2)
# (<function f at 0x7f939eb3fe60>, (2,), {})

后一种用法让我觉得这可以像任何其他装饰一样使用。这由documentation

支持
  

joblib.delayed(function,check_pickle = True)

     

Decorator用于捕获函数的参数。

然而,这失败了:

from joblib import delayed

@delayed
def g(n):
    return n**2

# Traceback (most recent call last):
#  File "<stdin>", line 1, in <module>
#  File "/usr/lib/python2.7/dist-packages/joblib/parallel.py", line 158, in delayed
#    pickle.dumps(function)
#  File "/usr/lib/python2.7/copy_reg.py", line 70, in _reduce_ex
#    raise TypeError, "can't pickle %s objects" % base.__name__
#TypeError: can't pickle function objects

我用Python 2.7.12

尝试了这个

1 个答案:

答案 0 :(得分:1)

看起来这是一个命名空间问题,导致joblib.delayed尝试挑选输出函数(而不是原始函数)。

我没有查看joblib代码,但你提出的方法就是这样做:

import joblib

def _func(*args, **kwargs):
    'your code here'

func = joblib.delayed(_func)

这不太理想,但它确实有效。