找不到dag_id:dag_id。将气流从1.7.3升级到1.10.1后,dag不存在或解析失败

时间:2019-02-12 17:14:35

标签: airflow airflow-scheduler

我将气流版本从1.7.3升级到1.10.1。调度程序,Web服务器和工作程序升级后,dag停止工作,在调度程序上显示以下错误-

要么dag不存在,要么解析失败。

我尚未对配置进行任何更改。在调查问题时,调度程序日志会显示该问题。调度程序之前将任务运行为-

添加到队列:airflow run <dag_id> <task_id> <execution_date> --local -sd DAGS_FOLDER/<dag_filename.py>

现在它以绝对路径运行-

添加到队列:airflow run <dag_id> <task_id> <execution_date> --local -sd /<PATH_TO_DAGS_FOLDER>/<dag_filename.py>

PATH_TO_DAGS_FOLDER就像/home/<user>/Airflow/dags...

与其将其推送给工作人员的方式相同,因为工作人员正在其他用户上运行,它无法找到指定的dag位置。

我不确定如何告诉工人查看自己的气流主目录,而不是调度程序?

我使用mysql作为后端,使用rabbitmq进行消息传递。

0 个答案:

没有答案