Question

我正在尝试设置一个小型Spark群集进行测试。该集群由3名工人和1名主人组成。在每个节点上，我设置了Java，scala和spark。配置文件如下：的火花defaults.conf：

spark.master                 spark://test01.scem:7077
 spark.eventLog.enabled      true
 spark.eventLog.dir         hdfs://test01.scem/user/spark/applicationHistory
 spark.executor.memory       4g
 spark.serializer            org.apache.spark.serializer.KryoSerializer
 spark.driver.memory         5g
 spark.yarn.archive          hdfs://test01.scem/user/spark

spark-env.sh

export SPARK_CONF_DIR=/usr/hadoop/spark-2.1.0-bin-hadoop2.7/conf
export SPARK_LOG_DIR=/var/log/spark
export SPARK_PID_DIR=/var/run/spark
export HADOOP_HOME=${HADOOP_HOME:-/usr/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/usr/hadoop/etc/hadoop}

我可以通过（start-all.sh）启动所有节点，但是我在启动shell（spark-shell）时收到错误消息。我尝试了所有可用的方法来查看Spark集群的UI，但没有运气，请帮忙。我收到的错误消息是：

WARN client.StandaloneAppClient$ClientEndpoint: Failed to connect to master test01.scem:7077
org.apache.spark.SparkException: Exception thrown in awaitResult

每个节点的jps是：

Master {18097 JobHistoryServer，21249 Jps，20758 NameNode，20440   的ResourceManager}

slaves {11456 JobHistoryServer，15409 Jps，15092 DataNode，14799   节点管理器}

Answer 1

检查你是否可以ping主人。如果真的检查端口7077是否在master上使用netstat命令占用。如果两者都是真的，则可能是防火墙问题

Spark拒绝连接到master

1 个答案: