如何在气流中设置emr_default

时间:2017-06-26 21:07:44

标签: python airflow

亲爱的Stackoverflow会员,

我正在尝试使用Airflow来安排启动群集的DAG,运行一些火花作业然后自行终止。我试着效仿这个例子: https://insight.io/github.com/apache/incubator-airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_automatic_steps.py

它给了我错误:airflow.exceptions.AirflowException:没有定义conn_id emr_default

我可能需要emr_default设置(如果不是这样,请纠正我)。有没有人之前尝试过这个并给我一些关于如何设置它的提示? Airflow网站没有提供太多的emr连接:http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections

谢谢!

2 个答案:

答案 0 :(得分:0)

在气流用户界面上,转到管理员 - > “连接”选项卡,并编辑emr_default行的值。

答案 1 :(得分:0)

正如@ Him所说,你可以在气流中编辑。 但如果找不到emr_default,您可以转到Admin - > Connections - > Create添加您想要的任何连接