我正在编写一个spark应用程序并使用spark-submit shell脚本运行它(使用yarn-cluster / yarn-client)
正如我现在看到的,火花提交的退出代码是根据相关纱线申请决定的 - 如果成功状态为0,否则为1。
我希望能够选择返回另一个退出代码 - 对于我的应用程序成功发生错误的状态。
有可能吗?从应用程序返回不同的退出代码?
我尝试使用System.exit()但没有成功......
感谢。
答案 0 :(得分:0)
可以在客户端模式下使用,但不能在群集模式下使用。您有群集模式的解决方法。
我对此question的回答可以帮到你。
答案 1 :(得分:0)
如果您在集群模式下运行,spark-submit将立即结束,返回提交ID作为json的一部分,并且不等待应用程序状态。之后,您可以通过以下方式查询状态
spark-submit --status [submission ID]
如果以本地或独立模式运行,则应该能够从spark-submit进程中获取退出代码。