EMR 5.13：Spark 2.3.0 UI显示执行程序保持活动状态

Question

自从我升级到EMR 5.13以来，我一直在Spark＆amp; YARN 用户界面。

在这个特定的例子中：

• YARN显示该过程已完成
• Ganglia显示自上次（第118次）工作完成以来群集已空闲
• Spark用户界面还告诉我所有118项任务都已完成   

即便如此，Spark用户界面会在最后一次作业后报告所有 Executor还活着，很长时间（写作时超过1小时）完成了。

这可能是一个UI故障还是还有其他事情发生了？

框架/平台：

• EMR 5.13
• Spark 2.3.0
• Hive 2.3.2
• Hadoop: Amazon 2.8.3

Answer 1

屏幕上有活动任务的一个执行程序被标记为Dead。它显示了终止时的统计数据。

如您所见，执行者＃5在终止前处理了624个任务。然后纱线启动了一个新的执行者＃9而不是完成了76个任务