主节点有2个带有ip 10.0.0.1
的nic节点和带有ip 192.168.2.1
的节点。
奴隶在192.168.2.0
网络上拥有IP。
我想从网络10.0.0.0
上的客户端向群集提交程序。
有可能吗?
使用spark-env.sh
SPARK_MASTER_IP
参数是不够的。
修改:
即使端口转发也不够。
iptables -A PREROUTING -t nat -i eth1 -p tcp --dport 9999 -j DNAT --to 192.168.2.11:7077
iptables -A FORWARD -p tcp -d 192.168.2.11 --dport 7077 -j ACCEPT
,例如pyspark --master=spark://publicipmaster:9999
返回错误
WARN ReliableDeliverySupervisor: Association with remote system
[akka.tcp://sparkMaster@publicipmaster:9999] has failed,
address is now gated for [5000] ms. Reason is: [Disassociated].