Question

已使用 branch-1.4 代码库中的ec2 / spark-ec2脚本启动了一个spark群集。我登录了它。

我可以登录 - 它反映了 1个主人，2个奴隶：

11:35:10/sparkup2 $ec2/spark-ec2  -i ~/.ssh/hwspark14.pem  login hwspark14
Searching for existing cluster hwspark14 in region us-east-1...
Found 1 master, 2 slaves.
Logging into master ec2-54-83-81-165.compute-1.amazonaws.com...
Warning: Permanently added 'ec2-54-83-81-165.compute-1.amazonaws.com,54.83.81.165' (RSA) to the list of known hosts.
Last login: Tue Jun 23 20:44:05 2015 from c-73-222-32-165.hsd1.ca.comcast.net

       __|  __|_  )
       _|  (     /   Amazon Linux AMI
      ___|\___|___|

https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/
Amazon Linux version 2015.03 is available.

但是......他们在哪儿？唯一运行的java进程是：

Hadoop：NameNode和SecondaryNode
Tachyon：大师和工人

令我惊讶的是，Spark Master和Workers尚未启动。在寻找手动启动它们的过程时，它们所处的位置并不明显。

提示

为什么火花没有自动启动

和

启动脚本的位置

将不胜感激。（与此同时，我将做一个详尽的

 find / -name start-all.sh

并且调查说：

root@ip-10-151-25-94 etc]$ find / -name start-all.sh
/root/persistent-hdfs/bin/start-all.sh
/root/ephemeral-hdfs/bin/start-all.sh

对我来说，火花甚至没有安装？

更新我想知道： 这是1.4.0中的错误 ？我在1.3.1中运行了相同的命令集，并且出现了火花簇。

Answer 1

spark 1.4.0配置脚本中有一个bug，它是由具有类似症状的spark-ec2（https://github.com/mesos/spark-ec2/）从github存储库克隆的 - apache spark haven并未启动。原因是 - 配置脚本无法下载spark存档。

检查是在主控主机ls -altr /root/spark上下载和解压缩的火花，那里应该有几个目录。从您的描述看起来似乎缺少/root/spark/sbin/start-all.sh脚本 - 在那里缺少。

同时检查文件cat /tmp/spark-ec2_spark.log的内容，它应该包含有关解压缩步骤的信息。

另一件事是通过将--spark-ec2-git-branch branch-1.4添加到spark-ec2命令行参数中来运行spark-ec2和其他配置脚本分支。

另外当你运行spark-ec2保存所有输出并检查是否有可疑的东西：

spark-ec2 <...args...> 2>&1 | tee start.log

Spark未在AWS群集上自动启动 - 如何启动它？

1 个答案: