我在本地网络上的Ubuntu机器上设置了一个Apache Spark集群,一切都没有问题。
现在,我正在尝试向我的群集添加更多节点,但这些是在Windows机器上运行的Ubuntu VM。
我无法使用网桥连接将我的VM连接到网络,因为网络不允许它。
假设我的主人位于10.40.11.43,主机位于10.40.11.90,我的VM位于NAT网络中的10.2.0.15,这就是:
在我的VM上,我运行start-slave.sh spark://10.40.11.43:7077并创建了worker,它成功到达了master。 在我的主服务器上,检测到新工作程序并且主服务器尝试在10.2.0.15:1234(example port)连接回工作人员但是它不能,所以它在连接超时时拒绝该工作者。
我不完全理解这里发生了什么,但在我看来,主人正试图到达一些无法进入的地方,因为它必须首先进入我的主机而不是VM的NAT网络地址。