我正尝试在独立模式下为高可用性设置多主火花。
我有6个节点集群：6个工作人员和2个主人可用。
所有6名工人都出现在Master 1 UI上，而spark master 2没有列出任何工人？我是否还需要在主人2上启动工作人员？
或者，如果主设备1出现故障，ZooKeeper会将那些工作转换为主设备吗？
还有一件事是我在同一节点上为kafka设置了ZooKeeper。现在我需要为Spark单独安装ZooKeeper吗？新的ZooKeeper是否需要具有与Kafkas ZooKeeper不同的端口号？
答案 0 :(得分：1)
如果主人1失败，动物园管理员会将那些工作人员切换为主人吗？
是的，它会的。如果你set up everything properly你可以杀死主人1，等待几秒钟，你会看到主人2接管并看到所有可用的工人资源都移动到那里。
现在我需要为Spark单独安装zookeeper吗？
这是您的团队需要做出的设计决策，但通常ZooKeeper旨在成为多个应用程序的集中配置。在我们的生产环境中，我们有一个连接到Kafka和Spark的ZooKeeper集群。