Airflow 任务即使在完成后仍继续运行

Question

就我们在使用 Airflow 和 Spark 时遇到的问题提出意见。

设置：我们目前正在使用 Apache Airflow (v2.0.1) 来监控和安排我们的一个项目的工作流。我们使用 spark submit 操作符创建了一个 DAG。 (Spark v3.0.0)

Airflow > 集群模式下的 SparkSubmitOperator，Kubernetes 作为 Spark Master K8s:// > Kubernetes 上 Spark Driver 和 executor Pod 的动态分配和 Pod 管理

问题：在从气流 UI 触发 DAG 时，我们面临一个问题，即它随机卡在某个任务上，当它在司机舱。我们已经单独测试了它的每个任务，它们都执行成功。

以下是 DAg 图供您参考。

对于气流 UI 上的任务，我们反复获得以下日志。

尝试解决此问题： 在 python 代码中添加 spark.stop() 和 sys.exit(0) 以返回正确的退出状态。 （但没有运气 - 气流随机卡在任务上）。

我最近几天一直在解决这个问题，但无法解决，这里的任何线索/方向都会有所帮助。