Azure Spark如何配置应用程序重试限制

Question

我目前正在运行Azure HD insight Spark群集，默认情况下，如果应用程序失败，则会重试5次。我想改变它并将其设置为2.你知道怎么做吗？

Answer 1

您可以将此作为配置点传递给spark-submit。 spark-submit ... --conf spark.yarn.maxAppAttempts=2

您还可以在Ambari中在群集级别设置覆盖。您可以通过Custom spark-defaults访问spark->configs，并通过ambari UI设置覆盖。