在这个example中,我看到EmrCreateJobFlowOperator接收在Airflow UI中设置的aws / emr连接:
cluster_creator = EmrCreateJobFlowOperator(
task_id='create_job_flow',
job_flow_overrides=JOB_FLOW_OVERRIDES,
aws_conn_id='aws_default',
emr_conn_id='emr_conn_id',
dag=dag)
在Airflow用户界面中,在连接选项卡中,如何添加我的AWS凭据以便DAG可以接收它们?我没有看到AWS的任何类型的连接。有什么想法吗?
答案 0 :(得分:3)
aws_default
从环境变量或~/.aws/credentials
中获取凭据。您可以选择部署模式来决定要放置密码的位置。
但是,如果您想通过UI添加连接字符串,可以转到Admin - >连接并编辑那里的密钥。