具有两个主节点的Spark集群。可能吗？

Question

假设我们有一个包含22个节点的Spark集群。是否有可能在集群2中拥有主节点，这些主节点将由Zookeeper？

协调

一个主节点是备用节点。

Answer 1

有可能。使用以下conf选项：

  

配置

     

要启用此恢复模式，您可以使用以下配置在spark-env中设置SPARK_DAEMON_JAVA_OPTS：

     

系统属性含义

     

spark.deploy.recoveryMode设置为ZOOKEEPER以启用备用主恢复模式（默认值：NONE）。

     

spark.deploy.zookeeper.url ZooKeeper群集网址（例如，192.168.1.100：21181,192.168.1.101：2181）。

     

spark.deploy.zookeeper.dir ZooKeeper中用于存储恢复状态的目录（默认值：/ spark）。

Standby Masters with ZooKeeper