Question

我有3次DAG运行：

DAGR 1在2019-02-13 16:00:00执行
DAGR 2于2019-02-13 17:00:00执行
DAGR 3在2019-02-13 18:00:00执行

在X的任务实例DAGR 1中，我想获取任务实例Y的xcom值。我是这样做的：

kwargs['task_instance'].xcom_pull(task_ids='Y')

我希望从Y中的任务实例DAGR 1获得xcom的价值。相反，我来自DAGR 3。

来自Airflow文档

如果为xcom_pull传递了一个字符串task_ids，则返回该任务的最新XCom值；否则，返回0。 ...

为什么气流xcom_pull返回最新的xcom值？
如果我想从同一DAG运行中退出怎么办？

Answer 1

这回答了您的问题[如何从同一DAG运行（不是最新的DAG）中的其他任务实例中提取xcom值？ ]
参见下面的示例：

t1 = SomeOperator(
        task_id='Your_t1_Task_ID',
        ...
        ...
        dag=dag)

    def get_records(**kwargs):
        ti = kwargs['ti']
        xcom = ti.xcom_pull(task_ids='Your_t1_Task_ID')
        string_to_print = 'Value in xcom is: {}'.format(xcom)
        #string_to_print holds that value, you can also print it in the logs
        logging.info(string_to_print)

    t2 = PythonOperator(
        task_id='records',
        provide_context=True,
        python_callable=get_records,
        dag=dag)

    t1 >> t2

Answer 2

我认为您正在寻找xcom_pull()方法中的include_prior_dates param
请注意，它将返回Xcom s的整个历史记录（python list，每个项目都是一个xcom记录）（由task过滤），然后您必须手动过滤出所需的task_id 使用execution_date field
可能很难提供准确的xcom进行过滤；为此，请查看他们如何在execution_date中实现execution_delta and execution_date_fn params

如何在同一DAG运行中（不是最新的）从其他任务实例中提取xcom值？

2 个答案: