Question

我正在编写一个需要并行运行一系列任务的应用程序，然后运行所有任务结果的单个任务：

@celery.task
def power(value, expo):
    return value ** expo

@celery.task
def amass(values):
    print str(values)

这是一个非常人为和过于简单的例子，但希望这一点很好。基本上，我有许多项需要运行power，但我只想对所有任务的结果运行amass。所有这些都应该异步发生，我不需要amass方法中的任何内容。

有没有人知道如何在芹菜中设置它以便一切都是异步执行的，并且在完成所有操作后调用带有结果列表的单个回调？

我已将此示例设置为使用chord作为Alexander Afanasiev推荐：

from time import sleep

import random

tasks = []

for i in xrange(10):
    tasks.append(power.s((i, 2)))
    sleep(random.randint(10, 1000) / 1000.0) # sleep for 10-1000ms

callback = amass.s()

r = chord(tasks)(callback)

不幸的是，在上面的示例中，tasks中的所有任务仅在调用chord方法时启动。有没有办法让每个任务可以单独启动，然后我可以添加一个回调给组，以便在一切都完成后运行？

Answer 1

这是一个适用于我的目的的解决方案：

<强> tasks.py ：

from time import sleep

import random

@celery.task
def power(value, expo):
    sleep(random.randint(10, 1000) / 1000.0) # sleep for 10-1000ms
    return value ** expo

@celery.task
def amass(results, tasks):
    completed_tasks = []
    for task in tasks:
        if task.ready():
            completed_tasks.append(task)
            results.append(task.get())

    # remove completed tasks
    tasks = list(set(tasks) - set(completed_tasks))

    if len(tasks) > 0:
        # resend the task to execute at least 1 second from now
        amass.delay(results, tasks, countdown=1)
    else:
        # we done
        print results

使用案例

tasks = []

for i in xrange(10):
    tasks.append(power.delay(i, 2))

amass.delay([], tasks)

这个应该做的是尽快异步启动所有任务。一旦将它们全部发布到队列中，amass任务也将被发布到队列中。 amass任务将继续重新发布，直到所有其他任务完成。

Answer 2

Celery对于您可以想象的大多数工作流程都有plenty of tools。

您似乎需要使用chord。以下是文档引用：

和弦就像一个群体，但有一个回调。和弦由标题组和正文，正文是应该完成的任务在标题中的所有任务完成后执行。

Answer 3

从您的问题看一下这个片段，看起来您传递list作为和弦标题，而不是group：

from time import sleep
import random

tasks = []

for i in xrange(10):
    tasks.append(power.s((i, 2)))
    sleep(random.randint(10, 1000) / 1000.0) # sleep for 10-1000ms

callback = amass.s()

r = chord(tasks)(callback)

将list转换为group会导致您期望的行为：

...

callback = amass.s()

tasks = group(tasks)

r = chord(tasks)(callback)

Answer 4

@ alexander-afanasiev给你的答案基本上是正确的：使用和弦。

您的代码没问题，但tasks.append(power.s((i, 2)))实际上并没有执行子任务，只是将subtasks添加到列表中。它是chord(...)(...)向代理发送尽可能多的消息的消息，作为您在tasks列表中定义的子任务，再加上一个用于回调子任务的消息。当你致电chord时，它会尽快返回。

如果您想知道和弦何时结束，您可以使用样本中的r.ready()进行民意调查，就像完成一项任务一样。

完成所有任务后运行任务

4 个答案: