在长时间运行的工作中重新启动时，气流计划程序最终卡住了

Question

我有一个气流调度程序，其设置为--run-duration 86400（24小时）。 在此时间之后，调度程序“死亡”，并且将自动重新启动。 只要没有长期运行的工作（例如2个小时），该工作就可以正常进行 在24小时结束之前不久就开始了。 在这种情况下，我需要一个调度程序来处理我的长期任务，并且 其他所有的都是僵尸（已消失）。不会处理其他作业 长期工作的持续时间。

我正在与LocalExecutor合作。

我的问题是：

• 是否保存以允许调度程序无限期运行（没有--run-duration或–num_runs）？
• 芹菜或草签的执行者会发生类似的事情吗？

Answer 1

据我了解，当使用LocalExecuter运行作业时，实际任务是由调度程序的子进程运行的，因此调度程序必须等到所有任务完成后才能重新启动。在这段时间内，不会有新任务开始。

在CeleryExecuter下，Celery实际上正在运行任务，因此您不应该遇到此问题。