Apache Spark的阶段是什么?

时间:2019-07-08 10:19:38

标签: apache-spark

因此,我知道阶段是在同一节点上工作的一组任务。

那么在本地工作时为什么会得到两个阶段?

1 个答案:

答案 0 :(得分:2)

阶段是一组并行任务-每个分区一个任务。 阶段数由混洗/宽转换的数目定义。 enter image description here

因此,回到您的情况,如果您进行随机播放操作,则将分为两个阶段。