Spark Jobserver高可用

Question

我有一个包含很少节点的独立Spark群集。我得到了动物园管理员的高可用性。我使用Spark Jobserver spark-2.0-preview，并使用可用的spark URL配置了jobserver env1.conf文件，如下所示：

spark://<master1>:<port>,<master2>:<port>

一切正常，所以如果master1关闭，则jobserver连接到master2。

• 但是如果安装了jobserver的机器崩溃了怎么办？
• 有没有办法像火花一样做点什么？在2上有2个作业服务器实例将机器和zookeeper分开，如果一个失败则进行管理。
• 或者我是否需要自己管理这种情况？

Answer 1

我会选择第三种解决方案。我曾经使用过Spark Jobserver，而不是HA，但我正在寻找解决方案。让我告诉你我的意见：

• 如果Spark Jobserver仅部署在一台计算机上，默认情况下，如果计算机崩溃，则会出现故障点。
• Spark Jobserver不使用Zookeeper进行节点协调（至少在我使用它时），而是使用在Akka框架中实现的actor模型。
• 我认为最好的办法是自己处理。这里的方法可能是：简单的方法是在指向同一数据库的不同机器上启动多个Spark Jobserer实例，并在它们前面启动代理。现在问题将移动数据库服务器的HA（可能更容易解决）

我建议检查Spark Jobserver github repo，因为他们讨论了这个问题。 （https://github.com/spark-jobserver/spark-jobserver/issues/42）