Spark主URL是本地主机

时间:2018-08-24 10:42:03

标签: apache-spark

我正在尝试启动独立的Spark集群。在主节点上,我运行了:

./sbin/start-master.sh

哪个启动了母版,但是显示在Web UI中的Spark URL是spark://localhost:7077。我可以通过使用

在同一台计算机上添加一个工作程序
./sbin/start-slave.sh

但是,当我尝试从另一台计算机添加工作程序时,它失败并显示Connection Refused。这可能是因为我试图通过在命令中提供master的URL来启动slave:

./sbin/start-slave.sh spark://172.25.x.x:7077    

但主URL是spark://localhost:7077

当我尝试在启动母版时明确定义URL时:

./sbin/start-master.sh --host 172.25.x.x

它失败,但出现以下异常:

java.net.BindException: Cannot assign requested address: Service 'sparkMaster' failed after 16 retries (starting from 7077)! Consider explicitly setting the appropriate port for the service 'sparkMaster' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.

SPARK_LOCAL_IP设置为172.25.x.x时也会发生同样的情况。

我知道我错过了一些简单的东西。只是从Spark集群开始。

0 个答案:

没有答案