气流操作员on_kill和芹菜超时

时间:2019-04-30 17:33:12

标签: celery airflow

我们想通过visibleibility_timeout选项将芹菜超时设置为2小时。我们的dag将作业提交给要在其系统中运行的外部api。我们还使用on_kill方法编写了自己的自定义运算符。因此,当作业被杀死时,on_kill方法将取消请求发送到外部API,以终止其系统中的作业。我们已经通过从Airflow UI手动清除运行对它进行了测试。

我的问题是,如果我的工作运行了2个小时以上,芹菜超时可能会开始并导致气流工作失败。这是完全有效的。这会在运算符上调用on_kill方法吗?现在,我建议on_kill的读数将在SIGTERM上调用,芹菜超时是否发送此信号?

感谢您的帮助

谢谢, 桑索什

0 个答案:

没有答案