我在azure云上安装了ubuntu服务器,并安装了 spark-1.6.0-bin-hadoop2.6 。我想启动独立群集。
我通过执行./start-master.sh -h 10.0.0.4
(它的内部ip)开始掌握,之后可以访问http://[master-public-ip]:8080中的web-ui
接下来,我也将ubuntu服务器作为不同网络中的从属服务器。我是从./start-slave.sh spark://[master-public-ip]:7077
开始的。我可以在master web-ui中看到成功注册的slave。
当我使用以下命令在master上提交申请时:
./spark-submit --class com.MyClass --deploy-mode client \
--master spark://[master-public-ip]:7077 \
/home/user/my_jar.jar
我在slave web-ui中遇到以下错误:
Exception in thread "main" java.io.IOException: Failed to connect to /10.0.0.4:33742
因此,master可以连接到slave,但slave不能。如何将配置更改为slave通过公共IP连接到master?
将SPARK_MASTER_IP设置为公共IP不起作用。