如果重新启动Airflow服务器,请设计Airflow操作员以恢复状态

时间:2018-07-20 00:37:59

标签: airflow airflow-scheduler

我需要创建一个自定义运算符来运行某些专有类型的批处理作业。这项工作可能需要花费几个小时才能完成,我想确保如果Airflow机器在完成工作之前重新启动,它将不会开始另一项工作,而是继续等待已经开始的工作。

我正在尝试找出是否有最佳实践/模式在Airflow框架内实施。我查看了Airflow代码库中一些可用的远程作业操作员/挂钩的实现(例如DataFlowPythonOperator),但在作业已经存在时没有看到任何逻辑来处理这种情况。我假设Airflow中的典型批处理作业操作员应该能够恢复以前启动的作业实例。

重新启动Airflow服务器后,任务实例及其状态会如何?会再次调用execute()方法来重试它吗?

0 个答案:

没有答案