标签: apache-spark hadoop spark-streaming yarn
我正在尝试找出如何以非零退出状态(例如数据库连接异常或任何其他运行时异常)失败时重新启动Spark作业。从apache-spark文档中,我了解到有一个配置参数-
spark.driver.supervise:true
但是文档提到此设置仅在Spark独立模式或Mesos集群部署模式下有效。如何在基于YARN的Spark群集中具有相似的设置?我在apache的YARN页面中找不到relevent文档。