如何配置连接到AWS EMR spark集群的Java客户端

时间:2016-11-03 15:20:07

标签: java amazon-web-services apache-spark emr

我正在尝试编写一个简单的spark应用程序,当我在本地运行它时,它可以将master设置为

.master("local[2]")

但是在AWS(EMR)上配置spark群集后,我无法连接到主URL:

.master("spark://<master url>:7077")

这是这样做的吗?我在这里错过了什么吗? 群集已启动并正在运行,当我尝试将我的应用程序添加为步骤jar时,它将直接在其工作的群集中运行。但我希望能够从远程计算机上运行它。

非常感谢这里的帮助, 感谢

1 个答案:

答案 0 :(得分:0)

要从远程计算机运行,您需要在分配给EMR主节点的安全组中打开相应的端口。您需要添加至少7077。

如果通过&#34; remote&#34;您的意思是您的AWS环境中没有一个,您还需要设置一种从外部路由流量的方法。