我正在尝试使Airflow在容器中运行并使用可用的图像here。我发现,尽管DAG进入了运行状态(在UI上),但DAG中的任务似乎无限期地等待,并且从未真正触发。 鉴于文档中给出的某些步骤是可选的,我按照以下步骤进行操作,以使示例DAG在我的容器中启动并运行-
从dockerhub中拉出图像
docker pull puckel/docker-airflow
默认设置下触发气流,应使用顺序执行器启动
docker run -d -p 8080:8080 -e LOAD_EX=y puckel/docker-airflow
尽管我过去从事过Airflow的工作,但我对设置Airflow和docker还是比较陌生。因此,我可能在这里错过了一些非常基本的东西,因为似乎没有其他人会面临相同的问题。任何帮助将不胜感激。
答案 0 :(得分:0)
顺序执行器不是调度程序,因此它仅运行通过UI或run命令手动创建的作业。某些类型的任务不会在顺序执行器中运行,我认为其SubdagOperators不会。老实说它应该处理虚拟,bash或python任务,但是如果您运行调度程序,本地执行程序和数据库,则可以节省时间来确定它。 Puckel有一个示例docker compose文件https://github.com/puckel/docker-airflow