在错误/中断时通过unix shell终止在纱线簇模式下运行的火花流作业

时间:2019-01-31 09:02:11

标签: apache-spark hadoop spark-streaming yarn

我有shell脚本,可以在Yarn集群模式下初始化spark流作业。我已经通过Autosys安排了shell脚本。现在,当我杀死autosys作业时,我也想杀死以群集模式运行的这个火花作业。
我曾尝试在错误返回代码的shell脚本中使用yarn application -kill,但未执行。
但是
我可以从另一个Shell窗口中取消该工作。
yarn application -kill命令在那里完美运行并杀死该应用程序。

是否有任何变通办法可以在通过同一Shell中断(自动)时终止集群模式作业?

1 个答案:

答案 0 :(得分:0)

在错误返回码逻辑中->以孤立流程运行yarn应用程序-kill << em> $ appid >。