当退出非零状态失败时如何重新启动Spark作业

时间:2019-06-18 09:33:25

标签: apache-spark hadoop spark-streaming yarn

我正在尝试找出如何以非零退出状态(例如数据库连接异常或任何其他运行时异常)失败时重新启动Spark作业。从apache-spark文档中,我了解到有一个配置参数-

spark.driver.supervise:true

但是文档提到此设置仅在Spark独立模式或Mesos集群部署模式下有效。如何在基于YARN的Spark群集中具有相似的设置?我在apache的YARN页面中找不到relevent文档。

0 个答案:

没有答案