Question

在这个答案https://stackoverflow.com/a/41730510/4200352的帮助下，我正在执行一个python文件。

我使用PythonOperator并尝试将执行日期作为传递给脚本的参数包含在内。

我相信我可以通过kwargs ['execution_date']以某种方式访问它。

以下失败

DAG.py

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta

import sys
import os
sys.path.append(os.path.abspath("/home/glsam/OmegaAPI/airflow/scripts/PyPer_ogi_simple"))
from update_benchmarks import *


default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2018, 4, 23),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG('run_pyPer', default_args=default_args)

update_BM_G027 = PythonOperator(
    task_id='update_BM_G027',
    python_callable=update_bmk,
    dag=dag,
    op_kwargs={
        'bmk_code': 'G027',
        'is_hedged': False,
        'from_date': kwargs['execution_date'],
    })

也许我需要使用这个答案来获取日期然后XCOM它的任务？ https://stackoverflow.com/a/36754930/4200352

Answer 1

这确实有点令人困惑，而且没有很好的记录。

您已使用PythonOperator。

现在只需添加选项

provide_context=True,

并使用指针扩展您的callable，例如

update_bmk(bmk_code, is_hedged, **context)

现在，在您的功能中，您将可以访问有关任务的所有信息，包括执行日期，如下所示：

task_instance = context['task_instance']
execution_date = context['execution_date']

要查看上下文中项目的完整参考，请参阅https://airflow.apache.org/code.html#macros

这些是宏的文档，但您可以使用上下文字典中的项目。

使用op_kwargs中的execution_date的Airflow Python脚本

1 个答案: