标签: docker containers airflow
我想使用AirFlow的DockerOperator从图像启动Docker容器。我的目的是开发一个DAG,它可以旋转一个容器,并在DAG创建的容器内执行多个其他任务。
作为一个例子,我想执行三个任务:数据检索,处理,数据上传。一种方法是保留依赖文件,但随后不再隔离容器。
有人遇到过类似的事情吗?