Apache Livy中的容错

Question

任何人都有关于在Apache Livy中实现容错的一些见解。比如说Livy服务器无法实现HA。

Answer 1

实际上，由于以下错误，现在无法在负载均衡器后面使用多个Livy服务器：https://issues.apache.org/jira/browse/LIVY-541

相比之下，对于需要高可用性的部署，Livy支持使用Zookeeper进行会话恢复，这可以确保如果Livy服务器发生故障，Spark群集仍然可用。重新启动后，Livy服务器可以连接到现有会话并回滚到故障之前的状态。

Answer 2

如果您希望Livy会话能够持续重启，则只需在livy.conf中设置这些属性

livy.server.recovery.mode = recovery
livy.server.recovery.state-store = filesystem
livy.server.recovery.state-store.url = file:///home/livy

您也可以使用hdfs：//进行存储。