工作人员无法连接到spark独立群集中的master

时间:2016-02-11 10:38:07

标签: apache-spark

我在2台机器上安装了apache spark 1.6 ubuntu(ip 192.168.217.136 hostname = worker-virtual-machine)是matser而且(ip = 192.168.217.139 hostname = slave)是worker 我配置了ssh和配置文件夹slave和spark-env.sh 奴隶的配置是

192.168.217.139 以及spark-env.sh文件夹

export SPARK_MASTER_IP=192.168.217.136

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=800m

export SPARK_WORKER_IN

STANCES=2

当我通过./sbin/start-all.sh启动集群并进入Web GUI时,我发现只有1名工作人员与ipadress的主人连接,所以工作人员与192.168.217.139 ipadress dosn连接到主人enter image description here

我试图通过./start-master.sh启动主人并从工人机器启动工作人员 ./start-slaves.sh spark://192.168.217.136:7077 当输入jps命令时,它显示我在终端创建的工作人员,但当我移动到主终端并执行jps时,它显示我只是主人,当我返回工作机器并且执行jps时,GUI不会显示任何内容#39;找到工人

问题出在哪里?

当我从其机器手动启动工作时,我在日志中有此消息错误

enter image description here

1 个答案:

答案 0 :(得分:-1)

阅读the docs,您可以看到./start-slave.sh的参数将master IP address作为第一个参数。这意味着您在从属计算机上运行./start-slave.sh并将其指向主计算机。看起来你正在做相反的事情:在主服务器上运行并指向从服务器。