我有一个AWS EMR集群（emr-4.2.0，Spark 1.5.2），我从aws cli提交步骤。我的问题是，如果Spark应用程序失败，那么YARN正在尝试再次运行应用程序（在相同的EMR步骤下）。 我该如何防止这种情况？
我试图设置--conf spark.yarn.maxAppAttempts=1，它在环境/火花属性中正确设置，但它不会阻止YARN重新启动应用程序。
答案 0 :(得分：-1)
您应该尝试将spark.task.maxFailures设置为1（默认为4）。
含义：
放弃工作前任何特定任务的失败次数。分散在不同任务中的故障总数不会导致作业失败;一项特定任务必须通过这一次尝试失败。应大于或等于1.允许的重试次数=此值 - 1.