无法在容器中运行Airflow的任务开始

时间:2018-10-25 05:49:45

标签: docker airflow airflow-scheduler

我正在尝试使Airflow在容器中运行并使用可用的图像here。我发现,尽管DAG进入了运行状态(在UI上),但DAG中的任务似乎无限期地等待,并且从未真正触发。 鉴于文档中给出的某些步骤是可选的,我按照以下步骤进行操作,以使示例DAG在我的容器中启动并运行-

从dockerhub中拉出图像

docker pull puckel/docker-airflow

默认设置下触发气流,应使用顺序执行器启动

docker run -d -p 8080:8080 -e LOAD_EX=y puckel/docker-airflow

尽管我过去从事过Airflow的工作,但我对设置Airflow和docker还是比较陌生。因此,我可能在这里错过了一些非常基本的东西,因为似乎没有其他人会面临相同的问题。任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:0)

顺序执行器不是调度程序,因此它仅运行通过UI或run命令手动创建的作业。某些类型的任务不会在顺序执行器中运行,我认为其SubdagOperators不会。老实说它应该处理虚拟,bash或python任务,但是如果您运行调度程序,本地执行程序和数据库,则可以节省时间来确定它。 Puckel有一个示例docker compose文件https://github.com/puckel/docker-airflow