作曲者气流任务断开

时间:2019-12-20 09:00:37

标签: airflow google-cloud-composer

我们正在运行非常简单的气流(由谷歌作曲家管理)DAG,它结合了Dataflow和Dataproc运算符。但是,这种情况经常发生,主要是Dataproc,而且还有Dataflow任务开始运行,但是由于某种原因,即使基础作业正确运行并且成功完成,气流也会丢失该轨迹并再次重试。可以在gant图上看到:

Airflow losing tasks

白盒是已成功完成和完成的作业,但是气流在给定的时间丢失了它们的踪迹,并重新安排了它们的时间。

谁能指出我在哪里看,可能是什么问题?那时气流调度程序尚未重新启动。

0 个答案:

没有答案