AWS Spark独立群集无法启动

时间:2018-01-16 13:30:18

标签: amazon-web-services apache-spark amazon-ec2

我有一个ASW EC2节点。我在节点上安装了Apache spark。

我使用这样的命令来启动集群:

spark-ec2/spark-ec2 -k NAME_OF_KEY_PAIR --identity-file=PATH_TO_PEM_FILE --region=us-west-2 --zone=us-west-2a --copy-aws-credentials start NAME_OF_YOUR_CLUSTER

当我启动群集时,我收到如下消息:

  

与ec2-34-214-104-6.us-west-2.compute.amazonaws.com的连接已关闭。

Spark独立集群开始于  http://ec2-38-218-104-6.us-west-2.compute.amazonaws.com:8080

Ganglia从http://ec2-388-218-104-6.us-west-2.compute.amazonaws.com:5080/ganglia开始。

但是,对于单独的spark独立群集,没有任何内容在运行。 Ganglia URL确实有效。

1 个答案:

答案 0 :(得分:1)

您确定实例中所需的端口是否已打开?默认情况下,仅打开SSH并绑定到您的IP。

请仔细阅读AWS Documentation

由于