如何在AWS上使用mesos部署spark

时间:2018-03-30 23:46:26

标签: amazon-web-services apache-spark docker mesos

我在AWS上安装了mesos和docker,我尝试部署spark,但是当发送执行者时发生了这个:

  

错误CoarseGrainedExecutorBackend:Executor自行退出,原因是:由于无法分配请求的地址,因此无法创建执行程序:   服务' org.apache.spark.network.netty.NettyBlockTransferService'   16次重试后失败(在随机自由端口上)!明确考虑   为服务设置适当的绑定地址   ' org.apache.spark.network.netty.NettyBlockTransferService' (对于   示例sparkDriver的spark.driver.bindAddress)正确   绑定地址。

我将所有公共IP配置为只有zookeeper本地,但执行程序是在本地IP中创建的,因此无法在公共IP(从属)中分配请求地址。

如果我使用本地IP进行所有配置,则沙箱(在mesos ui中)不起作用,因为正在寻找本地IP。

我试过

set e - SPARK_LOCAL_IP : 'local IP'
set e - SPARK_LOCAL_IP : 'public IP'
set -- conf spark.driver.bindAddress= local IP
set -- conf spark.driver.bindAddress= public IP

我尝试使用' public IP'更改advertise_ip文件。主机名文件包含'本地IP'

在AWS或Mesos上是否有特定配置可以使工作mesos和应用程序没有网络问题(公共和本地IP')

- Versions-- Mesos 1.5.0
Spark 2.3.0
Ubuntu 16.04.3 LTS
Docker 1.13.1-cs9

0 个答案:

没有答案