为什么在GCP Composer中会自动生成DAG'airflow_monitoring'?

时间:2019-06-07 14:59:12

标签: airflow google-cloud-composer

在GCP Composer上创建Airflow环境时,会自动创建一个名为“ airflow_monitoring”的DAG,并且无法删除。为什么呢 怎么处理呢?我是否应该将此文件复制到DAG文件夹中,然后辞职以使其成为代码的一部分?我注意到,每次上载代码时,它都会停止执行该DAG,因为在DAG文件夹中找不到该DAG之前,它神奇地重新出现了。

我已经尝试过在DAG文件夹中删除它,删除日志,从UI删除它,同时所有这些,等等。

1 个答案:

答案 0 :(得分:1)

airflow_monitoring DAG是针对每个环境的活动探测器/运行状况检查,用于填充Cloud Composer监视指标environment/healthy。它检查环境的总体总体运行状况,或更具体地说,检查其功能计划DAG。这样,您就可以使用Stackdriver功能(例如指标图),或在环境不正常时设置警报。

您可以在GCP Metrics List上找到有关该指标的更多信息,并可以在Stackdriver Monitoring下的以下指标中浏览该指标:

  • 资源类型:Cloud Composer环境
  • 指标:健康

这是由Composer管理的DAG,使用的资源非常少。理想情况下,您应该将其保留在DAGs文件夹中。