我有一些基于类别的故障列表。应该根据类别的优先级从主dag调用这些dag(以避免资源限制)。
我的想法是创建一个python脚本,其中应根据我们在元数据表中设置的优先级(而不是基于时间)触发这些类别dag。该python脚本将使用bashoperator在master dag中调用。
要清楚,大师dag应该基于时间。应该根据优先级从主机触发子dag。
我的问题是..
1)可以使用python触发dag吗?没有时间的基础。 2)我想并行运行几个类别的dag。如何做到这一点。请帮助我解决此问题。
答案 0 :(得分:2)
您可以使用TriggerDagRunOperator
并在每个使用priority_weight
来完成任务的任务上设置TriggerDagRunOperator
。
TriggerDagRunOperator:为指定的
dag_id
触发DAG运行priority_weight(int)–该任务相对于其他任务的优先权重。这使执行者在备份事物时可以先触发更高优先级的任务。将priority_weight设置为更大的数字,以执行更重要的任务。