为什么在Spark DataFrame上进行排序操作会创建两个作业?

时间:2018-06-05 21:28:00

标签: apache-spark apache-spark-sql

简单示例:

val spark = SparkSession.builder().master(master).getOrCreate()
import spark.implicits._
val df = Seq(10, 9, 8, 7, 6, 5, 4, 3, 2, 1).toDF("num")
df.sort("num").collect()

此代码将在SparkUI上生成下一张图片:

enter image description here

作业#0:

enter image description here

作业#1:

enter image description here

我的问题是:为什么一个行动会产生两份工作?

0 个答案:

没有答案