我正在使用动态DAG ,即我有一个* _ dags.py 文件,该文件具有循环并可以动态创建DAG。
我注意到,即使更改了dags.py文件中的START_DATE
和END_DATE
参数,在Composer中,它仍然会持续存在,并尝试使用旧的{{1 }}值。
我已设置CI / CD,将dags.py文件复制到START_DATE
,并且已经检查该文件确实包含正确的新GCS
。
我还尝试过从START_DATE
控制台手动删除文件。
这使我认为在Composer / Airflow中的某处中,有一个过时的元数据存储在GCS
下,因为我更改了{{1 }}的值,但不是我的dag_id
的值。
我想使用相同的START_DATE
,因此是否有办法清除似乎已存储的过时dag参数(我认为是在元数据数据库中)?
更新:
我尝试用这种方式“解决”问题,但没有成功:
-我从GCS删除了dag_id
文件半天了
-第二天又添加了dag_id
文件
但是生成的各种动态DAG都仍在旧dags.py
这是我的dags.py中的相关代码段,该代码段在循环中动态生成具有日期范围的dag:
dags.py
我认为问题可能是因为我使用了不变的元组。将尝试使用列表代替,看看它如何进行。