基于上游任务的输出在气流中生成动态任务

时间:2018-03-05 18:07:30

标签: airflow

如何根据上游任务返回的列表动态生成任务。

我尝试了以下内容:

使用外部文件从列表中写入和读取 - 此选项有效,但我正在寻找更优雅的解决方案。

Xcom拉入一个子工厂。这是行不通的。 我能够将上游任务中的列表传递给子数据,但是xcom只能在子数据的任务中访问,并且不能用于循环/遍历返回的列表并生成任务。 例如子公司工厂方法。

 def subdag1(parent_dag_name, child_dag_name, default_args,**kwargs):
    dag_subdag = DAG(
        dag_id='%s.%s' % (parent_dag_name, child_dag_name),
        default_args=default_args,
        schedule_interval="@once",
    )
    list_files='{{ task_instance.xcom_pull( dag_id="qqq",task_ids="push")}}'
    for newtask in list_files:
        BashOperator(
            task_id='%s-task-%s' % (child_dag_name,   'a'),
            default_args=default_args,
            bash_command= 'echo '+ list_files + newtask,
            dag=dag_subdag,
        )
    return dag_subdag

0 个答案:

没有答案