从任务

时间:2016-05-11 06:26:34

标签: python celery

TL; DR

有没有办法判断我们的芹菜工人是否会进入热关机状态?换句话说,我可以检查是否有SIGTERM待定?我有一个重新安排自己的任务,但我想避免重新安排自己,如果有关机等待,以避免阻止热关机。像这样:

if not self.shutdown_pending():
    self.retry(countdown=5, max_retries=3)

实际上,重新安排一些东西,我希望能够在我获得SIGTERM后立即彻底摆脱当前工作,以便我可以在新代码部署时尽快重启我的工作人员:

@app.task(bind=True)
def my_work_task(self):
    work = get_work()
    for item in work:
        if self.shutdown_pending():
            logger.info("Shutdown detected. Bailing.")
            return
        item.process()

背景

我的任务需要花费不同的时间(从几秒钟到几分钟不等)。我正在使用一个精细的芹菜节拍时间表来调用最初的任务,但如果我只完成了一小部分工作,比如说需要十秒才能完成,那么我想立即重新调用一些任务。时间,以避免等待50秒,以便下一次芹菜节拍进入,因为新的工作很可能在那段时间内可用。

所有这些都是为了最大限度地减少我处理的工作项的延迟。我想避免那个工人坐在那里什么都不做的那个50秒的时期,因为在那段时间里可能有一些工作可用。请注意,基于数据库中项目的“过期”,工作变得“准备就绪”,这就是为什么我使用celery beat只是在它们可用时进行扫描并且不直接触发任务。

我的任务看起来像这样:

@app.task(bind=True)
def my_work_task(self):
    work = get_work()
    do_some_work(work)
    # if this was just a short bit of work reschedule ourselves
    # immediately to avoid wasting time waiting for the
    # next celery beat.
    if len(work) < SMALL_WORK_THRESHOLD:
        self.retry(countdown=5, max_retries=3)

这一切都运行正常,除了一件事:当我重新加载我的工人时(通过发送SIGTERM)我最终可能会等待一个工人重新安排自己,可能每次都有大量的工作。每次调用可能需要几分钟,直到我达到max_retries值。这使得部署新代码成为一个问题,因为工作处理几乎停止了几分钟。

1 个答案:

答案 0 :(得分:1)

可悲的是,没有像其他类似question中提到的简单解决方案。

您唯一能做的就是改变方法或使用SIGKILL,在这种情况下,只需确保使用后端任务结果来了解您可能丢失的任务,或者您是否保持状态在db上你可能不需要它。

根据我的个人经验,我总是使用mongodb来记录明星和任务的结束。这让我可以看到由于机器崩溃而未完成的任务(我使用的是CELERY_ACKS_LATE),如果我希望某个任务在整个云上只运行一次,还可以执行全局锁定。 这样,如果SIGTERM在一段时间后没有工作,我发送SIGKILL而没有失去工作的风险。

希望这有帮助