气流任务意外关键字问题

Question

我有一个python运算符。

>>> list(map(asterisk(lambda k, v: k * v), d.items()))
['a', 'bb']

我已将Provide_context设置为True，因为我需要将数据发送到其他任务。 我有只想传递 params 而不传递 kwargs 的功能。

PythonOperator(
            task_id="getData",
            python_callable=getData,
            op_kwargs={
                "params": {
                    "days": 1,
                    "limit": 10
                }
            },
            provide_context=True,
        )

我以以下方式运行时遇到错误：

TypeError：getData（）得到了意外的关键字参数“ conf”

当我传递** kwargs并从中提取参数时，它可以正常工作，但我不想仅传递kwargs的参数，对此该怎么办？

Answer 1

请参阅here上的官方文档：

当您将Provide_context参数设置为True时，Airflow会传入另外一组关键字参数

如果您只想将参数传递给函数，请将provide_context设置为False。 provide_context用于与Dag相关的元信息。可以在xcomm中使用它并访问配置。