Apache Spark主服务器在公共IP上侦听,而奴隶在私有网​​络上

时间:2016-01-12 09:30:31

标签: apache-spark

主节点有2个带有ip 10.0.0.1的nic节点和带有ip 192.168.2.1的节点。 奴隶在192.168.2.0网络上拥有IP。

我想从网络10.0.0.0上的客户端向群集提交程序。

有可能吗?

使用spark-env.sh SPARK_MASTER_IP参数是不够的。

修改

即使端口转发也不够。

iptables -A PREROUTING -t nat -i eth1 -p tcp --dport 9999 -j DNAT --to 192.168.2.11:7077

iptables -A FORWARD -p tcp -d 192.168.2.11 --dport 7077 -j ACCEPT

,例如pyspark --master=spark://publicipmaster:9999返回错误

 WARN ReliableDeliverySupervisor: Association with remote system 
    [akka.tcp://sparkMaster@publicipmaster:9999] has failed, 
    address is now gated for [5000] ms. Reason is: [Disassociated].

0 个答案:

没有答案