Question

我正在尝试在我的组织网络中的2台计算机上设置独立的Spark集群。两者都是配置相同的ubuntu 16.04机器。

从主站到从站以及从站到主站都有无密码的ssh设置。

下面介绍主节点和从节点的配置。

主配置：

Spark-version: 2.4.4
/etc/hosts : 10.x.x.2 master
             10.x.x.3 slave01
            127.0.0.1 dm.abc.net localhost dm
            127.0.1.1 
            10.x.x.4  dm.abc.net dm
            10.x.x.5  abc.net

/usr/local/spark/conf/slaves: 10.x.x.3

/usr/local/spark/conf/spark-env.sh: export SPARK_MASTER_HOST='10.x.x.2'
                                    export SPARK_LOCAL_IP='10.x.x.2'
                                    export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64/jre/'

从站配置：

Spark-version: 2.4.4
/etc/hosts : 10.x.x.2 master
             10.x.x.3 slave01
            127.0.0.1 dm1.abc.net localhost dm1
            127.0.1.1 
            10.x.x.4  dm1.abc.net dm1
            10.x.x.5  abc.net

/usr/local/spark/conf/slaves: 10.x.x.3

/usr/local/spark/conf/spark-env.sh: export SPARK_MASTER_HOST='10.x.x.2'
                                    export SPARK_LOCAL_IP='10.x.x.3'

我在主服务器上尝试以下命令：/usr/local/spark/sbin/start-all.sh

但是我一直得到：从属日志中的连接失败。错误。任何指针。

Spark：从站无法连接到主站

0 个答案: