Spark Job UI-步骤名称下的时间/持续时间值

时间：2019-11-18 22:01:15

标签： apache-spark spark-ui

我有一个简单的问题-Spark UI中WholeStageCodegen矩形顶部的时间是什么？是处理时间吗？

enter image description here

1 个答案:

答案 0 :(得分：1)

是的，它是组成该步骤的任务的计算时间的总和。

括号中的其他3个值是任务花费的计算时间的最小值，中值和最大值。

  • 最快的任务需要64毫秒才能完成
  • 如果您按照计算时间对任务进行排序，则中间的任务要花147毫秒才能完成
  • 最慢的需要1.3秒才能完成
相关问题
最新问题