Airflow的DockerOperator-在同一个容器中执行多个任务

时间:2019-10-09 15:20:47

标签: docker containers airflow

我想使用AirFlow的DockerOperator从图像启动Docker容器。我的目的是开发一个DAG,它可以旋转一个容器,并在DAG创建的容器内执行多个其他任务。

作为一个例子,我想执行三个任务:数据检索,处理,数据上传。一种方法是保留依赖文件,但随后不再隔离容器。

有人遇到过类似的事情吗?

0 个答案:

没有答案
相关问题