Question

我正在尝试解决我在应用程序中遇到的不便之处。我设置了一个Celery守护程序，该守护程序似乎在链中的一项任务上的行为有所不同，与手动启动工作程序时的平滑过程相比。

此任务尝试从URL列表下载图片并将其保存，但是守护程序有时会抛出一些“ TimeLimitExceededed”。我绝对可以手动运行该工作程序（例如在screen内），但随后我失去了该守护程序及其日志的灵活性...

为解决该问题，我使用（bind = True）设置了任务，并实施了try / except，如果在发生此特定错误时，该任务可以重试任务（参见Celery doc.）。

@celery.task(bind=True)
def fetch_img(self, datasetId):

    list_imgs = retrieve_imgs(datasetId)    # list of pair url + new filepath
    total = len(list_imgs)
    for p in range(len(list_imgs)):
        url = list_imgs[p][0]
        filepath = list_imgs[p][1]
        filename = os.path.basename(filepath)

        try:
            fetch_img = fetchUrl(url, filepath)
            if fetch_img[0] is True:            # download picture
                # message
                mesPic_part1 = '\n' + "# Url '" + url + "' successfully fetched"
                mesPic_part2 = '\n' + "--> File saved as '.../" + datasetId + '/' + filename + "'"
                list_parts = [mesPic_part1, mesPic_part2]
                downloaded += 1

            else:
                # get error message if download failed
                list_parts = [fetch_img[1]]

            # Message(s)
            for m in list_parts:
                log_message_line(m)

        except TimeLimitExceeded as exc:
            raise self.retry(countdown=60, exc=exc)

    return datasetId

但是它并没有得到改善...当守护程序发生问题时，日志显示为：

[2019-07-23 18:44:24,691: ERROR/MainProcess] Task handler raised error: TimeLimitExceeded(300.0,)
Traceback (most recent call last):
  File "/opt/some/path/app/venv/lib/python3.6/site-packages/billiard/pool.py", line 658, in on_hard_timeout
    raise TimeLimitExceeded(job._timeout)
billiard.exceptions.TimeLimitExceeded: TimeLimitExceeded(300.0,)
[2019-07-23 18:44:24,694: ERROR/MainProcess] Hard time limit (300.0s) exceeded for application.core.celery.etl.task_etl_fetchImg.fetch_img[5cdce7d5-6ab2-425b-a1dd-5d847e3d403e]

您是否经历过类似的经历？如果您碰巧有一些提示，我将非常高兴...谢谢您！

Answer 1

您收到TimeLimitExceeded异常，因为您的任务执行了超过300秒的时间。 300秒是任务可以运行的默认时间。

您可以通过执行此操作来增加任务的AnotherConsumer（以秒为单位）。

time_limit

您还可以使用以下命令为配置中的任务设置时限：

@celery.task(time_limit=20)
def mytask():
    do_something()

手动启动的守护程序芹菜工人未在1个任务上引发错误

1 个答案: