我正在运行一项Spark工作，spark.task.maxFailures设置为1，并且根据the official documentation：
spark.task.maxFailures
放弃工作前的个别任务失败次数。应大于或等于1.允许的重试次数=此值 - 1.
因此，一旦任务失败，我的工作就会失败......但是，它会在放弃之前第二次尝试。我错过了什么吗？我已经在运行时检查了属性值以防万一，并且它被正确设置为1.在我的情况下，它在最后一步失败，所以第一次尝试创建输出目录而第二次尝试总是失败，因为输出目录已经存在，这不是真的有用。
此属性中是否存在某种错误或文档错误？
答案 0 :(得分：1)
这是允许的单个任务失败的数量，但您所描述的内容听起来像实际作业失败并正在重试。
如果您使用YARN运行此作业，则可能会多次重新提交作业本身，请参阅yarn.resourcemanager.am.max-attempts。如果是这样，您可以将此设置调低至1.