我正在学习Spark，而且我经常遇到一些导致任务和阶段失败的问题。使用我的默认配置，会有多轮重试和一堆ERROR消息。
虽然我完全理解在最终投入生产时重试任务的想法，但我很想知道如何在出现问题时让我的应用程序失败，以便我可以避免日志中的所有额外噪音在应用程序历史本身内。例如，如果我在内存中运行它，我很乐意在日志末尾看到OOM异常并让整个应用程序失败。
为这种工作流程设置配置的最佳方法是什么？
答案 0 :(得分：2)
您可以将spark.task.maxFailures设置为1。
spark.task.maxFailures是放弃工作前单个任务失败的次数，默认值为4.