我目前有一个运行多个DAG的Airflow docker容器。我现在打算将其拆分为两个Airflow容器(容器A和容器B),以便我可以根据容器的功能在容器A上运行一些DAG,而在容器B上运行其他DAG。
这样做的主要动机是不要因为一组DAG弹跳服务器而影响当前正在运行的另一组DAG。我已经研究了气流队列,但在这种情况下没有帮助。
这两组DAG(我们分别称为集合A和集合B)具有一些常见的DAG /代码,在某些情况下,集合A中的DAG依赖于集合B中通过ExternalTaskSensor获得的DAG。
拥有两个Airflow Docker容器的好方法是什么? 并能够从属于Set B(容器B)的DAG中的Set A(容器A)调用DAG(状态请求)?
注意:气流作业在EMR群集中运行,如果需要,两个容器可以使用同一EMR群集。