Apache Spark独立集群网络问题

时间:2016-03-12 16:20:48

标签: apache-spark

我在azure云上安装了ubuntu服务器,并安装了 spark-1.6.0-bin-hadoop2.6 。我想启动独立群集。

我通过执行./start-master.sh -h 10.0.0.4(它的内部ip)开始掌握,之后可以访问http://[master-public-ip]:8080中的web-ui

接下来,我也将ubuntu服务器作为不同网络中的从属服务器。我是从./start-slave.sh spark://[master-public-ip]:7077开始的。我可以在master web-ui中看到成功注册的slave。

当我使用以下命令在master上提交申请时:

   ./spark-submit --class com.MyClass --deploy-mode client \
    --master spark://[master-public-ip]:7077 \
    /home/user/my_jar.jar

我在slave web-ui中遇到以下错误:

Exception in thread "main" java.io.IOException: Failed to connect to /10.0.0.4:33742

因此,master可以连接到slave,但slave不能。如何将配置更改为slave通过公共IP连接到master?

将SPARK_MASTER_IP设置为公共IP不起作用。

0 个答案:

没有答案