在Spark中将多个IP地址绑定到Master

时间:2017-01-30 06:46:33

标签: apache-spark network-programming distributed-computing

我正在尝试使用以下系统设置Apache Spark:

1个主节点(具有公共IP,本地IP)
从节点-3(具有公共IP,本地IP)
从节点-2(具有本地IP)

配置使得主节点和从节点-3通过公共IP进行通信,而从节点-2通过本地IP与其他两个节点进行通信。

我面临的问题是,由于主节点绑定到公共IP,因此Slave Node-2无法通过它的本地IP连接到Master,这会给出连接拒绝错误,但是Slave Node -3能够毫无困难地与主节点通信。

有没有办法如何允许主节点和从节点-2之间的通信,或者如何将多个地址绑定到主节点,例如,在Hadoop中我们可以拥有这样的配置namenode绑定到多个主机。

谢谢

1 个答案:

答案 0 :(得分:0)

如果将主服务器绑定到“0.0.0.0”或所有本地地址,则主服务器应该能够通过专用网络与公共网络上的Node-3与Node-2通信。