Question

我正在尝试在我的Python运算符中使用Airflow宏但我一直收到“气流：错误：无法识别的参数：”

所以我导入一个有3个位置参数的函数：（ sys.argv，start_date，end_date ）我希望能够创建 start_date 和 end_date Airflow中的执行日期。

函数参数看起来像这样

def main(argv,start_date,end_date):

以下是我在DAG中的任务：

t1 = PythonOperator(
    task_id='Pull_DCM_Report',
    provide_context=True,
    python_callable=main,
    op_args=[sys.argv,'{{ ds }}','{{ ds }}'],
    dag=dag)

Answer 1

由于您传递的是需要由Airflow呈现的日期，因此您需要在Python运算符中使用templates_dict参数。此字段是Airflow将识别为包含模板的唯一字段。

您可以创建一个自定义Python运算符，通过复制现有运算符并将相关字段添加到template_fields元组来将更多字段识别为模板。

def main(**kwargs):
    argv = kwargs.get('templates_dict').get('argv')
    start_date = kwargs.get('templates_dict').get('start_date')
    end_date = kwargs.get('templates_dict').get('end_date')


t1 = PythonOperator(task_id='Pull_DCM_Report',
                    provide_context=True,
                    python_callable=main,
                    templates_dict={'argv': sys.argv,
                                    'start_date': '{{ yesterday_ds }}',
                                    'end_date': '{{ ds }}'},
                    dag=dag)

Answer 2

您可以使用以下内容“包裹”对main功能的调用：

t1 = PythonOperator(
    task_id='Pull_DCM_Report',
    provide_context=True,
    python_callable=lambda **context: main([], context["ds"], context["ds"]),
    dag=dag)

如果lambda不是你的一杯茶，你可以定义一个函数，调用它，然后调用main。

Python操作员中的气流宏

2 个答案: