我正在尝试启动独立的Spark集群。在主节点上,我运行了:
./sbin/start-master.sh
哪个启动了母版,但是显示在Web UI中的Spark URL是spark://localhost:7077
。我可以通过使用
./sbin/start-slave.sh
但是,当我尝试从另一台计算机添加工作程序时,它失败并显示Connection Refused
。这可能是因为我试图通过在命令中提供master的URL来启动slave:
./sbin/start-slave.sh spark://172.25.x.x:7077
但主URL是spark://localhost:7077
。
当我尝试在启动母版时明确定义URL时:
./sbin/start-master.sh --host 172.25.x.x
它失败,但出现以下异常:
java.net.BindException: Cannot assign requested address: Service 'sparkMaster' failed after 16 retries (starting from 7077)! Consider explicitly setting the appropriate port for the service 'sparkMaster' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.
将SPARK_LOCAL_IP
设置为172.25.x.x
时也会发生同样的情况。
我知道我错过了一些简单的东西。只是从Spark集群开始。