我将气流版本从1.7.3升级到1.10.1。调度程序,Web服务器和工作程序升级后,dag停止工作,在调度程序上显示以下错误-
要么dag不存在,要么解析失败。
我尚未对配置进行任何更改。在调查问题时,调度程序日志会显示该问题。调度程序之前将任务运行为-
添加到队列:airflow run <dag_id> <task_id> <execution_date> --local -sd DAGS_FOLDER/<dag_filename.py>
现在它以绝对路径运行-
添加到队列:airflow run <dag_id> <task_id> <execution_date> --local -sd /<PATH_TO_DAGS_FOLDER>/<dag_filename.py>
PATH_TO_DAGS_FOLDER
就像/home/<user>/Airflow/dags...
与其将其推送给工作人员的方式相同,因为工作人员正在其他用户上运行,它无法找到指定的dag位置。
我不确定如何告诉工人查看自己的气流主目录,而不是调度程序?
我使用mysql
作为后端,使用rabbitmq
进行消息传递。