当Zookeeper会话期满时，Apache Spark Master为什么关闭

Question

据我了解，可以使用Zookeeper在高可用性模式下运行Apache Spark Master。也就是说，多个Spark主站可以在“领导者/跟随者”模式下运行，并且这些模式已在ZooKeeper中注册。

在我们的方案中，ZooKeeper即将终止作为负责人的Spark Master的会话。因此，作为领导者的Spark Master会收到此通知，并有意关闭。

有人可以解释为什么做出了关闭而不是重试的决定吗？

为什么卡夫卡在收到相同的到期通知时又重试连接到Zookeeper？

Answer 1

您好像遇到了问题SPARK-15544 - Bouncing Zookeeper node causes Active spark master to exit。

  

关闭单个Zookeeper节点会导致Spark Master退出。主服务器应已连接到第二个Zookeeper节点。

截至2019年3月，他们正在研究解决方案。如果要查看解决问题的时间，可以遵循JIRA。