运行多个气流服务器

时间:2019-08-07 22:12:24

标签: docker airflow amazon-emr

我目前有一个运行多个DAG的Airflow docker容器。我现在打算将其拆分为两个Airflow容器(容器A和容器B),以便我可以根据容器的功能在容器A上运行一些DAG,而在容器B上运行其他DAG。

这样做的主要动机是不要因为一组DAG弹跳服务器而影响当前正在运行的另一组DAG。我已经研究了气流队列,但在这种情况下没有帮助。

这两组DAG(我们分别称为集合A和集合B)具有一些常见的DAG /代码,在某些情况下,集合A中的DAG依赖于集合B中通过ExternalTask​​Sensor获得的DAG。

拥有两个Airflow Docker容器的好方法是什么? 并能够从属于Set B(容器B)的DAG中的Set A(容器A)调用DAG(状态请求)?

注意:气流作业在EMR群集中运行,如果需要,两个容器可以使用同一EMR群集。

0 个答案:

没有答案