标签: airflow google-cloud-composer
我们正在运行非常简单的气流(由谷歌作曲家管理)DAG,它结合了Dataflow和Dataproc运算符。但是,这种情况经常发生,主要是Dataproc,而且还有Dataflow任务开始运行,但是由于某种原因,即使基础作业正确运行并且成功完成,气流也会丢失该轨迹并再次重试。可以在gant图上看到:
Dataproc
Dataflow
白盒是已成功完成和完成的作业,但是气流在给定的时间丢失了它们的踪迹,并重新安排了它们的时间。
谁能指出我在哪里看,可能是什么问题?那时气流调度程序尚未重新启动。