我正在尝试编写一个简单的spark应用程序,当我在本地运行它时,它可以将master设置为
.master("local[2]")
但是在AWS(EMR)上配置spark群集后,我无法连接到主URL:
.master("spark://<master url>:7077")
这是这样做的吗?我在这里错过了什么吗? 群集已启动并正在运行,当我尝试将我的应用程序添加为步骤jar时,它将直接在其工作的群集中运行。但我希望能够从远程计算机上运行它。
非常感谢这里的帮助, 感谢
答案 0 :(得分:0)
要从远程计算机运行,您需要在分配给EMR主节点的安全组中打开相应的端口。您需要添加至少7077。
如果通过&#34; remote&#34;您的意思是您的AWS环境中没有一个,您还需要设置一种从外部路由流量的方法。