如何将Zookeeper与Spark Driver程序集成?

时间:2017-03-09 11:53:15

标签: apache-spark

尝试将Spark Standalone集群与Zookeeper集成我从Spark Driver程序的角度来看有一个关于集成的问题。我有3个Spark Masters,我知道其中一个将被选举,其他人将以待机模式运行。根据文档here,它说人们可以通过spark://host1:port1,host2:port2来激发上下文,这样如果一个主机出现故障而其他主机成为领导者,并且驱动程序会知道谁是当前的领导者。所以我的问题不是传递host1_ip而是host2_ip我可以简单地让Zookeeper给我所有的火花大师的IP吗?或者只是传递zookeeper url。

0 个答案:

没有答案