亲爱的Stackoverflow会员,
我正在尝试使用Airflow来安排启动群集的DAG,运行一些火花作业然后自行终止。我试着效仿这个例子:
https://insight.io/github.com/apache/incubator-airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_automatic_steps.py
它给了我错误:airflow.exceptions.AirflowException:没有定义conn_id emr_default
我可能需要emr_default
设置(如果不是这样,请纠正我)。有没有人之前尝试过这个并给我一些关于如何设置它的提示? Airflow网站没有提供太多的emr连接:http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections
谢谢!
答案 0 :(得分:0)
在气流用户界面上,转到管理员 - > “连接”选项卡,并编辑emr_default行的值。
答案 1 :(得分:0)
正如@ Him所说,你可以在气流中编辑。
但如果找不到emr_default
,您可以转到Admin
- > Connections
- > Create
添加您想要的任何连接