我在AWS上安装了mesos和docker,我尝试部署spark,但是当发送执行者时发生了这个:
错误CoarseGrainedExecutorBackend:Executor自行退出,原因是:由于无法分配请求的地址,因此无法创建执行程序: 服务' org.apache.spark.network.netty.NettyBlockTransferService' 16次重试后失败(在随机自由端口上)!明确考虑 为服务设置适当的绑定地址 ' org.apache.spark.network.netty.NettyBlockTransferService' (对于 示例sparkDriver的spark.driver.bindAddress)正确 绑定地址。
我将所有公共IP配置为只有zookeeper本地,但执行程序是在本地IP中创建的,因此无法在公共IP(从属)中分配请求地址。
如果我使用本地IP进行所有配置,则沙箱(在mesos ui中)不起作用,因为正在寻找本地IP。
我试过
set e - SPARK_LOCAL_IP : 'local IP'
set e - SPARK_LOCAL_IP : 'public IP'
set -- conf spark.driver.bindAddress= local IP
set -- conf spark.driver.bindAddress= public IP
我尝试使用' public IP'更改advertise_ip文件。主机名文件包含'本地IP'
在AWS或Mesos上是否有特定配置可以使工作mesos和应用程序没有网络问题(公共和本地IP')
- Versions--
Mesos 1.5.0
Spark 2.3.0
Ubuntu 16.04.3 LTS
Docker 1.13.1-cs9