Spark BlockManager监听本地主机

时间:2020-10-12 13:36:30

标签: apache-spark networking mesos

不知道为什么,已经调查过this answer,没有运气。

我的执行者正在监听他们的本地主机地址,因为他们无法与其他人交谈而运行任何随机操作。

我在Mesos上运行Spark,并且已经有以下变量指向自己的IP(不是本地主机):

  • SPARK_LOCAL_IP
  • LIBPROCESS_IP

这是最后的过程,涂黑的部分是“外部ip”

enter image description here

这是最后的过程

enter image description here 我很困惑,如何欺骗执行者公开自己的IP,而不公开给本地主机。

看起来好像无法正确解决。

编辑如果我使用ipv4地址172.12.12.12(示例)手动启动BlockManager,则执行程序将绑定到正确的地址,但是如果我使用dns地址myserver.myservice.aws,执行程序绑定到本地主机。

有人知道为什么以及如何解决吗?更改分辨率问题或让mesos呼叫ipv4地址?

0 个答案:

没有答案