为什么任务的持续时间属于同一个工作在火花流中是完全不同的？

Question

看下面的图片，这24个任务属于同一个工作 每个任务要处理的数据量基本相同，用于gc的时间非常短，我的问题是为什么任务的持续时间属于同一个工作是如此不同？

Answer 1

您可以尝试检查事件时间轴以查找您的spark UI中的任务。检查慢速任务运行缓慢的原因。

他们是否花了更多时间进行序列化/反序列化？

是否因为调度程序延迟？

或执行程序计算时间？