清除Cloud Composer(气流)中过时的dag参数

时间:2019-09-12 07:51:56

标签: airflow google-cloud-composer

我正在使用动态DAG ,即我有一个* _ dags.py 文件,该文件具有循环并可以动态创建DAG。

我注意到,即使更改了dags.py文件中的START_DATEEND_DATE参数,在Composer中,它仍然会持续存在,并尝试使用旧的{{1 }}值。

我已设置CI / CD,将dags.py文件复制到START_DATE,并且已经检查该文件确实包含正确的新GCS

我还尝试过从START_DATE控制台手动删除文件。

这使我认为在Composer / Airflow中的某处中,有一个过时的元数据存储在GCS 下,因为我更改了{{1 }}的值,但不是我的dag_id的值。

我想使用相同的START_DATE,因此是否有办法清除似乎已存储的过时dag参数(我认为是在元数据数据库中)?

更新:
我尝试用这种方式“解决”问题,但没有成功:
-我从GCS删除了dag_id文件半天了
-第二天又添加了dag_id文件
但是生成的各种动态DAG都仍在dags.py

上运行

这是我的dags.py中的相关代码段,该代码段在循环中动态生成具有日期范围的dag:

dags.py

我认为问题可能是因为我使用了不变的元组。将尝试使用列表代替,看看它如何进行。

0 个答案:

没有答案