Django-celery项目,如何处理结果后端的结果?

时间:2013-02-06 15:20:04

标签: django celery

1)我目前正在开发一个公开REST API的Web应用程序,并使用Django和Celery来处理请求并解决它们。对于要求解决的请求,必须向amqp队列提交一组芹菜任务,以便它们在工作者(位于其他机器上)上执行。每项任务都是CPU密集型的,需要很长时间才能完成。

我已将Celery配置为使用amqp作为结果后端,我使用RabbitMQ作为Celery的经纪人。

每个任务都返回一个结果,之后需要在DB中存储,而不是由工作人员直接存储。只有“中心节点” - 运行django-celery的机器和RabbitMQ队列中的发布任务 - 才能访问此存储数据库,因此工作人员的结果必须以某种方式返回此机器。

问题是我如何处理事后执行的结果?所以在一个worker完成之后,它的结果会存储在配置的results-backend(amqp)中,但现在我不知道从那里获得结果并处理它们的最佳方法是什么。

我在文档中可以找到的是,您可以随时查看结果的状态:

result.state

这意味着基本上我需要一段专门的代码来定期运行这个命令,因此只使用这个来保持整个线程/进程的忙,或者用以下方法阻止所有内容:

result.get()

直到任务完成,这不是我想要的。

我能想到的唯一解决方案是在“中心节点”上有一个额外的线程,它定期运行一个函数,该函数基本上检查每个任务在提交时返回的async_results,并在任务有一个任务时采取行动完成状态。

有没有人有任何其他建议?

此外,由于后端结果'处理发生在“中心节点”上,我的目标是最小化此操作对此机器的影响。

最好的方法是什么?

2)人们通常如何解决处理工人返回的结果并放入后端结果的问题?(假设已经配置了后端结果)

1 个答案:

答案 0 :(得分:2)

我不确定我是否完全理解你的问题,但考虑到每个任务都有一个任务ID。如果用户正在发送任务,您可以存储ID,然后使用json检查结果,如下所示:

#urls.py 
from djcelery.views import is_task_successful

urlpatterns += patterns('',
    url(r'(?P<task_id>[\w\d\-\.]+)/done/?$', is_task_successful,
        name='celery-is_task_successful'),
    )

其他相关概念是signals每个完成的任务发出信号。完成的任务将发出task_success信号。更多信息可以在real time proc上找到。