Python + Celery:链接工作?

时间:2010-10-10 16:24:24

标签: python celery

Celery documentation表明让任务等待其他任务的结果是个坏主意......但是建议的解决方案(参见“好”标题)留下了一些需要的东西。具体来说,没有明确的方法可以将子任务的结果返回给调用者(同样,它有点丑陋)。

那么,有没有“链接”工作的方式,所以调用者得到最终工作的结果?例如,要使用add示例:

>>> add3 = add.subtask(args=(3, ))
>>> add.delay(1, 2, callback=add3).get()
6

或者,可以返回Result的实例吗?例如:

@task
def add(x, y, callback=None):
    result = x + y
    if callback:
        return subtask(callback).delay(result)
    return result

这样可以通过简单的方式重新获得链中“最终”工作的结果:

result = add(1, 2, callback=add3).delay()
while isinstance(result, Result):
    result = result.get()
print "result:", result

1 个答案:

答案 0 :(得分:31)

你可以用芹菜链做到这一点。见https://celery.readthedocs.org/en/latest/userguide/canvas.html#chains

@task()
def add(a, b):
    time.sleep(5) # simulate long time processing
    return a + b

链接工作:

# import chain from celery import chain
# the result of the first add job will be 
# the first argument of the second add job
ret = chain(add.s(1, 2), add.s(3)).apply_async()

# another way to express a chain using pipes
ret2 = (add.s(1, 2) | add.s(3)).apply_async()

...

# check ret status to get result
if ret.status == u'SUCCESS':
    print "result:", ret.get()