我刚刚开始探索Apache Airflow。
有什么方法可以运行作业,以查看正在运行的DAGS,并通过创建DAGS并将其添加到其中来将DAGS中的那些任务移至新的DAG中。
例如:DAG A有四个任务,第4个任务从7个小时开始等待-目标是创建新的DAG并将该任务自动移动到新的DAG。
场景:实际上,我们大约有40个VM,每个作业时间随其实例的不同而不同。例如:任务A今天将花费2个小时,但明天可能在同一DAG中花费12个小时。我需要的是,如果任何任务的等待时间超过特定时间以立即在其他VM上运行,则将该任务移至其他DAG。
主要好处是,通过构建动态DAG来使所有任务等待时间尽可能地短