标签: apache-spark yarn
如果Spark应用失败,则YARN会重新尝试一定次数。对于网络/节点故障和其他随机事件后重试,我感到很高兴。我甚至可以为提供--conf spark.yarn.maxAppAttempts=3的{{1}}选项的Spark应用设置尝试次数。
--conf spark.yarn.maxAppAttempts=3
但是这只能在sumsumsion上完成,我看不到在运行时更改此参数的方法。但是在某些情况下,我想中止已经运行的应用程序而无需重新尝试。我该怎么办: