气流：动态SubDag创建

Question

我有一个用例，我有一个客户列表。可以在列表中添加或删除客户端，它们可以具有不同的开始日期和不同的初始参数。

我想使用airflow根据初始开始日期回填每个客户端的所有数据，如果出现故障则重新运行。我正在考虑为每个客户创建一个SubDag。这会解决我的问题吗？

如何根据client_id动态创建子标记？

Answer 1

您绝对可以动态创建DAG对象：

def make_client_dag(parent_dag, client):
  return DAG(
    '%s.client_%s' % (parent_dag.dag_id, client.name),
    start_date = client.start_date
  )

然后，您可以在主dag的SubDagOperator中使用该方法：

for client in clients:
  SubDagOperator(
    task_id='client_%s' % client.name,
    dag=main_dag,
    subdag = make_client_dag(main_dag, client)
  )

这将创建一个特定于集合clients的每个成员的子标记，并且每个成员都将运行以便下次调用主dag。我不确定你是否会得到你想要的回填行为。