链接芹菜任务方法错误

时间:2015-04-16 03:12:51

标签: python celery chaining chain

我尝试使用celery将两个task_method链接在一起,但是我收到以下错误:

错误:

>>> from proj.tasks import A
>>> a = A()
>>> s = (a.add.s(1,2) | a.show.s()).delay().get()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.6/site-packages/celery/result.py", line 175, in get
    raise meta['result']
TypeError: show() takes exactly 2 arguments (1 given)

注意,在将常规(独立函数)芹菜任务链接在一起时,我不会遇到此错误, only task_methods (类函数)。我无法判断self对象是否未通过,或者第一项任务的结果是否未通过。

这是我的项目布局:

proj/__init__.py
    celery_app.py
    tasks.py

tasks.py:

from __future__ import absolute_import
from celery import current_app
from celery.contrib.methods import task_method
from proj.celery_app import app

class A:

    def __init__(self):
        self.something = 'something'

    @current_app.task(filter=task_method)
    def add(self,x, y):
        return x + y

    @current_app.task(filter=task_method)
    def show(self,s):
        print s
        return s

celery_app.py:

from __future__ import absolute_import
from celery import Celery

app = Celery('proj',
         broker='amqp://',
         backend='amqp://',
         include=['proj.tasks'])

app.conf.update(
    CELERY_TASK_RESULT_EXPIRES=3600,
)

if __name__ == '__main__':
    app.start()

这是来自芹菜工人的错误:

[2015-04-15 19:57:52,338: ERROR/MainProcess] Task proj.tasks.show[e1e5bc12-6d36-46cd-beb7-fd92a0a5f5c2] raised unexpected: TypeError('show() takes exactly 2 arguments (1 given)',)
Traceback (most recent call last):
  File "/usr/lib/python2.6/site-packages/celery/app/trace.py", line 240, in trace_task
R = retval = fun(*args, **kwargs)
  File "/usr/lib/python2.6/site-packages/celery/app/trace.py", line 438, in __protected_call__
return self.run(*args, **kwargs)
TypeError: show() takes exactly 2 arguments (1 given)

有没有人成功用芹菜链接task_methods?谢谢!

编辑:还值得注意以下代码 成功:

>>> from proj.tasks import A
>>> a = A()
>>> sum = a.add.s(1,2).delay().get()
>>> show = a.show.s(sum).delay().get()

此外,我知道可以说这些功能不需要在课堂上,但假装他们这样做。我使用简单的函数来帮助说明问题。

修改

我找到了解决方法,但仍需要更好的解决方案:

首先,修改tasks.py:

...
def show(s,self):
    print s
    return s
...

然后你可以拨打s = (a.add.s(1,1) | a.show.s(a) ).delay().get(),将s设置为2。

有趣的是,调用s = (a.add.s(1,1) | a.show.s(self=a) ).delay().get()会吐出以下错误:

TypeError: s() got multiple values for keyword argument 'self'

这并不理想,因为除非在链中,否则无法调用show函数。

例如,以下问题:

>>> a.show(s='test')
TypeError: show() got multiple values for keyword argument 's'

>>> a.show(s='test',self=a)
TypeError: __call__() got multiple values for keyword argument 'self'

1 个答案:

答案 0 :(得分:0)

根据Celery的创建者Ask Solem Hoel的说法,任务方法是一个“失败的实验”,将不再受到支持。我想这回答了我的问题 - 目前无法完成。

Source