我在2台机器上安装了apache spark 1.6 ubuntu(ip 192.168.217.136 hostname = worker-virtual-machine)是matser而且(ip = 192.168.217.139 hostname = slave)是worker 我配置了ssh和配置文件夹slave和spark-env.sh 奴隶的配置是
192.168.217.139 以及spark-env.sh文件夹
export SPARK_MASTER_IP=192.168.217.136
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=800m
export SPARK_WORKER_IN
STANCES=2
当我通过./sbin/start-all.sh启动集群并进入Web GUI时,我发现只有1名工作人员与ipadress的主人连接,所以工作人员与192.168.217.139 ipadress dosn连接到主人enter image description here
我试图通过./start-master.sh
启动主人并从工人机器启动工作人员
./start-slaves.sh spark://192.168.217.136:7077
当输入jps命令时,它显示我在终端创建的工作人员,但当我移动到主终端并执行jps时,它显示我只是主人,当我返回工作机器并且执行jps时,GUI不会显示任何内容#39;找到工人
问题出在哪里?
当我从其机器手动启动工作时,我在日志中有此消息错误
答案 0 :(得分:-1)
阅读the docs,您可以看到./start-slave.sh
的参数将master IP address
作为第一个参数。这意味着您在从属计算机上运行./start-slave.sh并将其指向主计算机。看起来你正在做相反的事情:在主服务器上运行并指向从服务器。