Question

这是一个绝对的火花菜鸟在这里说话。

这是我正在运行并期待3名工人的命令

./spark-ec2  --worker-instances=3 --key-pair=my.key --identity-file=mykey.pem --region=us-east-1 --zone=us-east-1a  launch my-spark-cluster-G

但是，在aws console中，只会创建两个服务器（master和slave）

在另一边：

http://myMasterSparkURL:8080/

我得到以下不仅仅是加起来的信息：

Workers: 3
Cores: 3 Total, 3 Used
Memory: 18.8 GB Total, 18.0 GB Used
Applications: 1 Running, 0 Completed
Drivers: 0 Running, 0 Completed
Status: ALIVE

并且在工人之下显示：

worker1 (port 8081) worker1IP:43595 ALIVE   1 (1 Used)  6.3 GB (6.0 GB Used)
worker1 (port 8082) worker1IP:53195 ALIVE   1 (1 Used)  6.3 GB (6.0 GB Used)
worker1 (port 8083) worker1IP:41683 ALIVE   1 (1 Used)  6.3 GB (6.0 GB Used)

现在，如果我点击第一个（worker with 8081），它会将我重定向到工作页面，但是如果我点击另外两个（workers with port 8082 and 8083）。它基本上是page not found。

很有可能我假设这是spark-ec2中的一个错误，但我不太确定，因为我在这里是一个菜鸟。

我已经到处寻找有类似问题的人。所以我感谢任何建议，可以给我一些想法，为什么会发生这种情况以及如何解决它。 TY

火花版spark-1.3.0

Answer 1

你可能想稍微改变一下这个调用，这就是我到目前为止创建集群的方式：

./spark-ec2 -k MyKey 
            -i MyKey.pem 
            -s 3 
            --instance-type=m3.medium 
            --region=eu-west-1 
            --spark-version=1.2.0 
            launch MyCluster

用--worker-instances运行spark-ec2

1 个答案: