Spark Streaming执行程序任务失败

Question

当我查看spark UI上的Jobs选项卡时，我可以看到任务状态，如20/20 /（4失败）。

这是否意味着失败的任务会丢失数据？这些失败的任务不是移到了差异执行者吗？

Answer 1

虽然您应该警惕失败的任务（它们经常是潜在内存问题的指示器），但您不必担心数据丢失。这些阶段已标记为已成功完成，因此失败的任务实际上（最终）已成功处理。