Question

我在AWS上安装了mesos和docker，我尝试部署spark，但是当发送执行者时发生了这个：

错误CoarseGrainedExecutorBackend：Executor自行退出，原因是：由于无法分配请求的地址，因此无法创建执行程序：服务＆＃39; org.apache.spark.network.netty.NettyBlockTransferService＆＃39; 16次重试后失败（在随机自由端口上）！明确考虑为服务设置适当的绑定地址＆＃39; org.apache.spark.network.netty.NettyBlockTransferService＆＃39; （对于示例sparkDriver的spark.driver.bindAddress）正确绑定地址。

我将所有公共IP配置为只有zookeeper本地，但执行程序是在本地IP中创建的，因此无法在公共IP（从属）中分配请求地址。

如果我使用本地IP进行所有配置，则沙箱（在mesos ui中）不起作用，因为正在寻找本地IP。

我试过

set e - SPARK_LOCAL_IP : 'local IP'
set e - SPARK_LOCAL_IP : 'public IP'
set -- conf spark.driver.bindAddress= local IP
set -- conf spark.driver.bindAddress= public IP

我尝试使用＆＃39; public IP＆＃39;更改advertise_ip文件。主机名文件包含＆＃39;本地IP＆＃39;

在AWS或Mesos上是否有特定配置可以使工作mesos和应用程序没有网络问题（公共和本地IP＆＃39;）

- Versions-- Mesos 1.5.0
Spark 2.3.0
Ubuntu 16.04.3 LTS
Docker 1.13.1-cs9

如何在AWS上使用mesos部署spark

0 个答案: