Question

我可以在PythonOperator中使用宏吗？我试过跟随，但我无法获得渲染的宏！

dag = DAG(
    'temp',
    default_args=default_args,
    description='temp dag',
    schedule_interval=timedelta(days=1))

def temp_def(a, b, **kwargs):
    print '{{ds}}'
    print '{{execution_date}}'
    print 'a=%s, b=%s, kwargs=%s' % (str(a), str(b), str(kwargs))

ds = '{{ ds }}'
mm = '{{ execution_date }}'

t1 = PythonOperator(
    task_id='temp_task',
    python_callable=temp_def,
    op_args=[mm , ds],
    provide_context=False,
    dag=dag)

Answer 1

仅为模板化字段处理宏。要让Jinja处理此字段，请使用您自己的扩展PythonOperator。

class MyPythonOperator(PythonOperator):
    template_fields = ('templates_dict','op_args')

我已将'templates_dict'添加到template_fields，因为PythonOperator本身已将此字段模板化： PythonOperator

现在您应该可以在该字段中使用宏：

ds = '{{ ds }}'
mm = '{{ execution_date }}'

t1 = MyPythonOperator(
    task_id='temp_task',
    python_callable=temp_def,
    op_args=[mm , ds],
    provide_context=False,
    dag=dag)

Answer 2

在我看来，更接近本机的Airflow方法是使用包含的PythonOperator并使用provide_context=True参数。

t1 = MyPythonOperator(
    task_id='temp_task',
    python_callable=temp_def,
    provide_context=True,
    dag=dag)

现在，您可以访问可调用的kwargs中的所有宏，气流元数据和任务参数

def temp_def(**kwargs):
    print 'ds={}, execution_date={}'.format((str(kwargs['ds']), str(kwargs['execution_date']))

如果您有与该任务相关联的自定义params，您也可以通过kwargs['params']

访问这些内容

Airflow Python运算符中的宏

2 个答案: