Apache Spark 2.1.0 - 基本设置：工作节点未与主节点连接

Question

我正在尝试让两个运行Apache Spark的虚拟机进行连接;主人和工人。我正在使用VirtualBox和host-only网络适配器。 VM可以相互ping，但是当我启动工作时，它不会出现在主Web的UI中。

我正在使用静态IP，主人是10.10.10.2和工人10.10.10.3

我的spark-env.sh文件配置为包含：

SPARK_MASTER_IP=10.10.10.2

我首先启动主节点：

./start-master.sh

starting org.apache.spark.deploy.master.Master, logging to /usr/lib/spark/logs/spark-masternode-org.apache.spark.deploy.master.Master-1-masternode.out

然后是工人：

./start-slave.sh spark://10.10.10.2:7077

starting org.apache.spark.deploy.worker.Worker, logging to /usr/lib/spark/logs/spark-modelnode1-org.apache.spark.deploy.worker.Worker-1-modelnode1.out

主节点GUI的结果输出：

如果我nmap 10.10.10.2来自工人：

Nmap scan report for 10.10.10.2
Host is up (0.00035s latency).
Not shown: 998 closed ports
PORT     STATE SERVICE
22/tcp   open  ssh
8080/tcp open  http-proxy

我不确定这是否相关，但在7077

时没有显示任何内容

非常感谢任何帮助！

Answer 1

SPARK_MASTER_IP已被弃用，不再在Spark 2.x中使用。您可以使用：

• SPARK_MASTER_HOST环境变量
{li> -h / --host选项sbin/start-master.sh。