我每天都要运行一个带有许多DAGS的Airflow流程。如今,突然之间所有DAGS都无法运行,因为当Airflow调用airflow run
时,它错误地指定了-sd目录来查找DAG。
这里是例子:
[2018-09-26 15:18:10,406] {base_task_runner.py:115} INFO - Running: ['bash', '-c', 'airflow run daily_execution dag1 2018-09-26T13:17:50.511269 --job_id 1 --raw -sd DAGS_FOLDER/newfoldernewfolder/dags/all_dags.py']
如您所见,在-sd
之后,子目录仅应声明DAGS_FOLDER/newfolder/dags/all_dags.py
时,该子目录重复两次newfolder。
我尝试使用两天前运行的相同文件(一切正常时)运行DAG,但出现相同的错误。我猜想Airflow配置有所更改,但是我不知道airflow.cfg
中有任何更改。我只管理UI,一旦打开DAG,airflow run
就会自动被调用。
任何人都知道airflow run
可能会在哪里获得此目录,以及如何更新该目录?