我在一组集群上安装了spark standalone。我尝试通过集群启动脚本启动集群。我已将群集的IP地址添加到conf / slaves文件中。主设备通过无密码ssh连接到所有从设备。
运行./bin/start-slaves.sh脚本后，我收到以下消息：
启动org.apache.spark.deploy.worker.Worker，登录到/root/spark-0.8.0-incubating/bin/../logs/spark-root-org.apache.spark.deploy.worker。 Worker-1-jbosstest2.out
但是master（localhost：8080）的webUI没有显示有关worker的任何信息。但是当我将localhost条目添加到我的conf / slaves文件时，会显示localhost的worker信息。
没有错误消息，终端上的消息表示工作人员已启动，但WebUI未显示任何工作人员。
答案 0 :(得分：7)
我遇到了同样的问题。当我无法telnet master：来自奴隶的端口时，我注意到了。在我的etc / hosts文件中（在master上）我有一个127.0.0.1主条目（在我的192.168.0.x主文件之前）。当我从etc / hosts文件中删除127.0.0.1条目时，我可以telnet，当我start-slaves.sh（来自master）我的奴隶连接
答案 1 :(得分：1)
运行群集时，检查工作节点中的命令$jps，检查它是否正确，并使用工作人员的PID在日志中进行检查。
或
设置以下内容：运行群集并使用配置的端口检查端口是否已启动
export SPARK_MASTER_WEBUI_PORT=5050
export SPARK_WORKER_WEBUI_PORT=4040
答案 2 :(得分：0)
检查/ etc / hosts并查看master
的绑定如果您的主服务器绑定到localhost以及IP地址（例如192.168.x.x），请删除localhost。如果你有本地主机完整的主机将映射到localhost，它不允许从机连接到主IP地址
答案 3 :(得分：0)
您可以使用：./start-master.sh --host 192.168.x.x而不是更改文件：/etc/hosts
答案 4 :(得分：0)
我遇到了同样的问题，最后在maven-processor-plugin中添加了以下行来解决：
$SPARK_HOME/conf/spark-env.sh