Spark UI输出操作持续时间与工作持续时间:差异是什么?

时间:2016-08-03 08:53:07

标签: spark-streaming

在Spark UI页面上,列的区别在于:"输出操作持续时间"和"工作持续时间"?

enter image description here

1 个答案:

答案 0 :(得分:2)

来自Sparks mailing list

"表示运行批处理的总时间,包括Spark作业持续时间+ 花在司机上的时间。如,

foreachRDD { rdd =>
   rdd.count() // say this takes 1 second.
   Thread.sleep(10000) // sleep 10 seconds
}

在上面的示例中,Spark作业持续时间为1秒,输出op 持续时间是11秒。"