设置spark执行器ip地址

时间:2016-07-20 07:53:19

标签: apache-spark

在我目前的设置中,有两个网络,每个火花节点都可以访问:一个连接每个节点快速的内部网络,一个可以连接到其他机器但速度很慢的外部节点。问题是,即使将SPARK_LOCAL_IP设置为内部IP地址,所有流量也会根据nload通过慢速公共网络。但是,web ui中的引用都是内部ip地址,以及日志消息中的引用(192.168.xx.xx是内部网络):

INFO ExecutorRunner: Launch command:...
    "--hostname" "192.168.xx.xx" "--cores" "16"
     "--app-id" "app-xxxxx-yyyy" "--worker-url" "spark://Worker@192.168.xx.xx:12344"

我是否必须更改主机名以与内部IP地址对应,或者是否有更好的方法来配置spark执行器节点以通过内部网络传递流量,同时使公共主机名对应较慢的外部网络? / p>

0 个答案:

没有答案