我在Spark 2.0中运行我的应用程序,我可以在我的spark UI中看到,由于内存超出问题,一个执行程序(执行程序编号27)退出。执行程序执行4任务时失败(执行程序核心为4),相应的索引为(34,117,200,281)。在第二次尝试中,在同一节点(cdts1hdpdn10d)中生成的另一个执行程序可以处理相同的4个任务而不会给出内存超出问题。我在代码级别上没有太多关于Spark如何工作的知识,但是我知道它在功能级别上有点了解。
如果有人能让我理解第二次尝试是如何完全成功的,那将会非常有用。
以下是SPARK UI的截图。