为什么重新提交对丢失的执行者成功完成的任务？

Question

我们的任务中有一个OutOfMemoryError导致执行器被杀死。 重新提交此执行程序已完成的任务。

由于成功完成任务创建的随机播放文件应写入本地文件系统。为什么要重新提交这些任务？

编辑： 我们使用Ambari作为集群管理器，使用YARN作为资源管理器。 在Spark中禁用了外部随机播放服务。

Answer 1

要重新使用随机播放文件，在执行器停用后，您至少必须启用外部随机播放服务。否则，没有任何过程可以实际将文件提供给新产生的执行程序。

您必须遵循的步骤才能使管理者之间有所不同，并在相应管理者的官方指南（Standalone，Mesos，YARN）中进行了说明。

但是，外部随机播放服务取决于对共享文件存储的访问，因此在容器化环境等中可能无法很好地工作。您可以在SPARK-25299和the accompanying design document中阅读有关此问题的更多信息。