Spark的哪一部分将失败的任务返回到另一个节点？

Question

在节点上运行的任务失败时，Spark将自动将任务返回到另一个节点。我的问题是：

• Spark的哪一部分负责？是ApplicationMaster， 驱动程序还是ResourceManager？
• 恢复失败任务的过程是什么？

感谢您提供宝贵的答案

Answer 1

当火花任务失败时，会发生以下事情

1. 该计算机上的节点管理器尝试在同一计算机上重新运行该任务，并通知APPLICATION MASTER。
2. 基于推测执行，应用程序主服务器可以决定在另一台计算机上运行重复任务。资源管理器不会重新启动任务
3. 任务从头开始重新启动。由于该任务处理的所有分区都丢失在较早发生的故障中。多数民众赞成在火花RDD血统出现在图片中。 spark使用spark沿袭，并尝试重新创建由于任务失败而丢失的分区。

我希望这对您有所帮助。继续分享知识：）。