spark UI中已完成任务的摘要指标:子任务总时间小于持续时间?

时间:2018-02-20 03:00:58

标签: apache-spark monitoring

我正在通过审核像这样的视频来研究火花 - >来自Spark Summit演讲的https://youtu.be/G7PcSBhfSQo?t=8135。非常好的视频,但我确实有一个关于我提供的youtube链接的起点处呈现的幻灯片的问题(我还附上了该幻灯片的屏幕截图)。我的困惑源于这样一个事实:在幻灯片中,最小/最大/中位数 分析的2个任务的持续时间是11秒。但是,总计 子任务时间(对于调度程序延迟,gc时间,'获得结果'时间等等都不到11秒。我想知道还有什么事情可以将总任务持续时间提高到11秒?还有其他屏幕吗?那会(看似)缺少信息吗?提前谢谢!
- spark UI

1 个答案:

答案 0 :(得分:1)

任务的执行时间可以分解为Scheduler Delay + Deserialization Time + Shuffle Read Time(可选)+ Executor Runtime + Shuffle Write Time(可选)+ Result序列化时间+获取结果时间。调整这些方面有助于优化性能。 - IBM知识中心