我需要创建一个自定义运算符来运行某些专有类型的批处理作业。这项工作可能需要花费几个小时才能完成,我想确保如果Airflow机器在完成工作之前重新启动,它将不会开始另一项工作,而是继续等待已经开始的工作。
我正在尝试找出是否有最佳实践/模式在Airflow框架内实施。我查看了Airflow代码库中一些可用的远程作业操作员/挂钩的实现(例如DataFlowPythonOperator),但在作业已经存在时没有看到任何逻辑来处理这种情况。我假设Airflow中的典型批处理作业操作员应该能够恢复以前启动的作业实例。
重新启动Airflow服务器后,任务实例及其状态会如何?会再次调用execute()方法来重试它吗?