如何使用Apache Air Flow构建动态队列?

时间:2018-11-08 17:17:37

标签: airflow airflow-scheduler

我刚刚开始探索Apache Airflow。

有什么方法可以运行作业,以查看正在运行的DAGS,并通过创建DAGS并将其添加到其中来将DAGS中的那些任务移至新的DAG中。

例如:DAG A有四个任务,第4个任务从7个小时开始等待-目标是创建新的DAG并将该任务自动移动到新的DAG。

场景:实际上,我们大约有40个VM,每个作业时间随其实例的不同而不同。例如:任务A今天将花费2个小时,但明天可能在同一DAG中花费12个小时。我需要的是,如果任何任务的等待时间超过特定时间以立即在其他VM上运行,则将该任务移至其他DAG。

主要好处是,通过构建动态DAG来使所有任务等待时间尽可能地短

0 个答案:

没有答案