如何使用Apache Airflow组织开发工作流程?

时间:2018-09-25 10:10:54

标签: airflow airflow-scheduler

我想向一个中等规模的团队(1-10人)介绍Apache Airflow。 人们如何组织他们的工作,以便他们可以开发,测试,审查,部署而不互相踩脚?

我尝试使用docker映像进行测试,例如:puckel's docker image。人们可以在自己的计算机上编写他们的DAG,提交以供审查,然后我们可以将其部署到生产中。缺点是Docker映像无法访问生产环境拥有的所有服务(例如AWS API凭证),因此测试仅限于相对简单的情况,或者要求用户自己进行大量配置。环境在配置方面也有所不同(例如,用户必须添加依赖项)。

0 个答案:

没有答案