访问通过CLI传递给Airflow的配置参数

Question

我试图在触发dag运行时将以下配置参数传递给Airflow CLI。以下是我正在使用的trigger_dag命令。

airflow trigger_dag  -c '{"account_list":"[1,2,3,4,5]", "start_date":"2016-04-25"}'  insights_assembly_9900 

我的问题是如何在dag run中访问运算符内传递的con参数。

Answer 1

有两种方法可以访问airflow trigger_dag命令中传递的参数。

1. 在PythonOperator中定义的可调用方法中，可以访问参数kwargs['dag_run'].conf.get('account_list')

2. 鉴于您使用此字段的字段是可模板字段，可以使用{{ dag_run.conf['account_list'] }}

对于上述工作方法，外部可触发DAG的schedule_interval设置为None

Answer 2

这可能是devj提供的答案的延续。

1. 在airflow.cfg，应将以下属性设置为true： dag_run_conf_overrides_params=True

2. 在定义PythonOperator时，传递以下参数provide_context=True。例如：

get_row_count_operator = PythonOperator(task_id='get_row_count', python_callable=do_work, dag=dag, provide_context=True)

1. 定义可调用的python（注意使用**kwargs）：

def do_work(**kwargs):    
    table_name = kwargs['dag_run'].conf.get('table_name')    
    # Rest of the code

1. 从命令行调用dag：

airflow trigger_dag read_hive --conf '{"table_name":"my_table_name"}'

我发现this的讨论会有所帮助。

Answer 3

首先，将其导入到某个地方

from airflow.configuration import conf
conf.set("core", "my_key", "my_val")

其次，在某处获取值

conf.get("core", "my_key")