什么会导致舞台在Spark中重新尝试

时间：2018-11-10 08:19:24

标签： scala apache-spark

Spark网页（与纱线一起使用）具有以下阶段：

enter image description here

Stage 0重试1，重试2使我感到惊讶的是什么能导致这种事情？

我试图自己复制它，并杀死了我的一台集群计算机上的所有执行器进程（CoarseGrainedExecutorBackend），但是我得到的只是一些失败的任务，描述为Resubmitted (resubmitted due to lost executor)。

整个阶段重试的原因是什么？我很好奇的是，每个阶段尝试读取的记录数是不同的：

enter image description here

和

enter image description here

请注意3011506中的Attempt 1和195907736中的Attempt 0。阶段重试是否会导致Spark重读两次记录？

1 个答案:

答案 0 :(得分：2)

阶段失败可能是由于Spark中的FetchFailure

获取失败：减少任务无法执行随机播放读取，即无法在磁盘写入的随机映射任务上找到随机文件。

如果stageFailureCount

https://youtu.be/rpKjcMoega0?t=1309

相关问题
最新问题