标签： airflow airflow-worker
我正在用Celery执行器在K8s上运行Airflow。 通常，我的任务使用emr_add_steps_operator触发EMR步骤。 当工作吊舱发生故障（将其重新安排到其他节点）时，Airflow任务将失败，而该步骤将继续在EMR中运行。
任务重试时，它会向EMR添加另一个相同的步骤，因此当第一个完成时，第二个开始运行。这会造成不必要的重复。 Pod重新安排它是我期望的，所以我只想避免重复步骤。
有什么办法可以做到这一点？ 谢谢