Question

我有一个气流DAG，可以使用以下参数运行它：

airflow trigger_dag 'my_dag' --conf '{"key":"value"}'

然后我可以像这样在DAG中获取“值”：

context['dag_run'].conf.get('key')

我想使用回填来做同样的事情：

airflow backfill 'my_dag' --conf '{"key":"value"}' -s 2019-04-15 -e 2019-04-16

是否可以在--conf中获取传递值以进行回填？

Answer 1

是的，回填命令还具有一个conf参数。

发件人：https://airflow.apache.org/1.10.3/cli.html#backfill

airflow backfill [-h] [-t TASK_REGEX] [-s START_DATE] [-e END_DATE] [-m] [-l]
                 [-x] [-i] [-I] [-sd SUBDIR] [--pool POOL]
                 [--delay_on_limit DELAY_ON_LIMIT] [-dr] [-v] [-c CONF]
                 [--reset_dagruns] [--rerun_failed_tasks] [-B]
                 dag_id

-c, --conf
JSON string that gets pickled into the DagRun’s conf attribute

如何读取传递给气流回填的值--conf {“ key”：“ value”}

1 个答案: