Question

我正在编写一个链，根据其内容将一些JSON转换为URI，然后将数据POST到该URI。我想与Celery异步执行此操作，并且知道对链进行分组将使我能够轻松完成此操作。

我写了以下任务：

import time    

from celery import group, chain
from celery.utils.log import get_task_logger

from app import celery

logger = get_task_logger(__name__)

@celery.task
def create_uri(obj_json, endpoint):
    uri = "{0}:{1}/{2}".format(
        obj_json["host"],
        obj_json["port"],
        endpoint
    )
    logger.debug("Created host {0} from {1}".format(uri, obj_json))
    return uri

@celery.task
def send_post(uri, data):
    logger.debug("Posting {0} to {1}...".format(data, uri))
    return uri

def send_messages(objs, endpoint, data):
    chains = [
         # The next line is causing problems.
        (create_uri.s(obj, endpoint) | send_post.s(data))
        for obj in objs
    ]
    g = group(*chains)
    res = g.apply_async(queue="default")
    while not res.ready():
       time.sleep(1)
    uris = res.get()
    print("Posted to {0}".format(uris))
    return uris

然而，我发现，当我尝试使用它时，链的create_uri位结束，但send_post从未在我的链中被调用。这很奇怪，因为我following the docs关于链，实际上，我几乎遵循here关于避免同步作业的示例。

我用

来管理我的员工

celery worker -A celery_worker.celery -l debug -c 5 -Q default

其中celery_worker只是推送应用上下文并导入app.celery。

我的配置如下：

CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

我的日志中的一行是：

[2017-01-09 12：35：59,298：DEBUG / MainProcess] TaskPool：Apply（args：（＆＃39; app.tasks.create_uri＆＃39; ，＆＃39; 197f4836-1cd8-4f7f-adaf-b8cebdb304ef＆＃39;，{＆＃39; timelimit＆＃39;：[无，无]，＆＃39; group＆＃39;：无，＆＃39; parent_id＆＃39;：无，＆＃39;重试＆＃39;：0，＆＃39; argsrepr＆＃39;：＆＃34;（{＆＃39; port＆＃39;：8079，＆＃39; host＆＃39;：＆＃39; localhost＆＃39;}，＆＃39;开始＆＃39;）＆＃34; ，＆＃39; lang＆＃39;：＆＃39; py＆＃39;，＆＃39; eta＆＃39;：无，＆＃39;到期＆＃39;：无，＆＃39; delivery_info＆＃39;：{＆＃39; routing_key＆＃39;：＆＃39;默认＆＃39;，＆＃39;优先＆＃39;：0，＆＃39;重新传递＆＃39;：无，＆＃39;交换＆＃39;＆＃39;}，＆＃39; kwargsrepr＆＃39;：＆＃39; {}＆＃39;，＆＃39;任务＆＃39;：＆＃39; app.tasks.create_uri＆＃39;，＆＃39; root_id＆＃39;：＆＃39; 197f4836-1cd8-4f7f-adaf- b8cebdb304ef＆＃39;，＆＃39; correlation_id＆＃39;：＆＃39; 197f4836-1cd8-4f7f-adaf-b8cebdb304ef＆＃39;，＆＃39; origin＆＃39;：＆＃39; foobar＆＃39;，＆＃39; reply_to＆＃39;：＆＃39; 6559d43e-6cae-3b6f-89be-7b80e2a43098＆＃39;，＆＃39; id＆＃39;：＆＃39; 197f4836-1cd8-4f7f- adaf-b8cebdb304ef＆＃39;}，b＆＃39; [[{＆＃34; port＆＃34;：8079，＆＃34; host＆＃34;：＆＃34; localhost＆＃34;}，＆＃34;启动＆＃34;]，{}，{＆＃34; chord＆＃34;：null，＆＃34; callbacks＆＃34;：null，＆＃34; errbacks＆＃34;：null，＆＃34; chain＆＃34;：[{＆＃34; task＆＃34;：＆＃34; app.tasks.send_post＆＃34;，＆＃34; subtask_type＆＃34;：null，＆＃34; options＆＃34;：{＆＃34; group_id＆＃34;：＆＃34; 60c2c9b2-eb51-457d-b248-b8e5552e0fd8＆＃34;，＆＃34; task_id＆＃34;：... kwargs：{} ）

当我打印chains[0].tasks时，我看到了这一点：

(app.tasks.create_uri({'host': 'localhost', 'port': 8079}, 'start'), 
 app.tasks.send_post({'hello': 'world'}))

认识到send_post是链中的下一个任务，但任务永远不会被接受。

为什么我的group在完成链中的第一个任务后会挂起？

Answer 1

您正在正确创建链和组。但是，工作人员将无法识别发送到无效队列的任务。当你对它们进行.get()时，它们会永远挂起，因为它永远不会返回结果。

因此，您可以使用默认的celery队列

res = g.apply_async().get()

# explicit
res = g.apply_async(queue="celery").get()

或者正确配置路由，然后使用自定义队列。

res = g.apply_async(queue='foo').get()

为什么我的链的返回参数部分地应用于下一个任务？

1 个答案: