如何将EMR群集连接到EC2服务器

Question

我使用spark来计算并行任务。为了做到这一点，我的项目连接到一个服务器，该服务器生成我需要启动我的火花作业的一些数据。

现在我想在aws上将我的项目迁移到云端。

我在EMR上获得了我的火花应用程序，在EC2上获得了我的服务器。如何让我的EMR spark应用程序能够在我的EC2服务器上使用http请求？我需要像网关这样的东西吗？

谢谢，

度过愉快的一天。

Answer 1

您的EMR群集实际上在EC2服务器上运行。您始终可以ssh到这些服务器。然后你肯定可以从emr ec2服务器ssh到另一个ec2服务器

Answer 2

根据我的经验，您应该使用ssh hadoop@ec2-###-##-##-###.compute-1.amazonaws.com -i /path/mykeypair.pem代替ssh -i /path/mykeypair.pem -ND 8157 hadoop@ec2-###-##-##-###-.compute.amazonaws.com。第二个命令没有响应。