Spark执行程序因内存溢出而失败

时间:2017-01-27 05:58:34

标签: apache-spark yarn

我在Spark 2.0中运行我的应用程序,我可以在我的spark UI中看到,由于内存超出问题,一个执行程序(执行程序编号27)退出。执行程序执行4任务时失败(执行程序核心为4),相应的索引为(34,117,200,281)。在第二次尝试中,在同一节点(cdts1hdpdn10d)中生成的另一个执行程序可以处理相同的4个任务而不会给出内存超出问题。我在代码级别上没有太多关于Spark如何工作的知识,但是我知道它在功能级别上有点了解。

如果有人能让我理解第二次尝试是如何完全成功的,那将会非常有用。

以下是SPARK UI的截图。

enter image description here

0 个答案:

没有答案