标签: spark-streaming
在Spark UI页面上,列的区别在于:"输出操作持续时间"和"工作持续时间"?
答案 0 :(得分:2)
来自Sparks mailing list:
"表示运行批处理的总时间,包括Spark作业持续时间+ 花在司机上的时间。如,
foreachRDD { rdd => rdd.count() // say this takes 1 second. Thread.sleep(10000) // sleep 10 seconds }
在上面的示例中,Spark作业持续时间为1秒,输出op 持续时间是11秒。"