我遇到了一个问题,我的标签中的任务由于某种原因从未被工人拿起。 当我查看任务详细信息时:
满足所有依赖性,但任务实例未运行。多数情况 在这种情况下,这仅意味着该任务可能很快就会安排好 除非: -调度程序已关闭或处于高负荷状态
如果此任务实例无法立即开始,请联系您的Airflow 管理员以获得帮助。
我检查了调度程序,日志中没有错误,也重新启动了几次。
我还检查了气流网服务器日志,仅注意这一点:
22/11/2018 12:10:39 [2018-11-22 01:10:39,747] {{cli.py:644}}调试-[5 / 5]杀死1名工人22/11/2018 12:10:39 [2018-11-22 01:10:39 +0000] [43] [INFO]处理信号:ttou 22/11/2018 12:10:39 [2018-11-22 01:10:39 +0000] [348] [INFO]工人离开(pid:348)
不确定会发生什么,以前效果很好。
Airflow版本1.9.0,从不更改版本,仅在min_file_process_interval
和dag_dir_list_interval
的某些配置中播放(但是遇到此问题时,我将其恢复为默认设置)
答案 0 :(得分:0)
我确实注意到,这是在我玩一些气流配置并重建我们的docker气流映像时发生的,然后我将其恢复为以前的原始版本。然后问题解决了。
当我使用新生成的图像时,我还注意到芹菜工作者发生了一个错误(但并非总是捕获):
不可恢复的错误:AttributeError(“'float'对象没有属性'items'”,)
因此,发现它与最新的Redis版本有关(Celery将使用Redis),您可以找到more details。