YARN上的Spark-限制运行时尝试

时间:2019-04-24 17:15:22

标签: apache-spark yarn

如果Spark应用失败,则YARN会重新尝试一定次数。对于网络/节点故障和其他随机事件后重试,我感到很高兴。我甚至可以为提供--conf spark.yarn.maxAppAttempts=3的{​​{1}}选项的Spark应用设置尝试次数。

但是这只能在sumsumsion上完成,我看不到在运行时更改此参数的方法。但是在某些情况下,我想中止已经运行的应用程序而无需重新尝试。我该怎么办:

  • 从应用程序内设置maxAppAttemts
  • 或退出时会告诉YARN不要重新运行该应用程序?

0 个答案:

没有答案