在Apache Spark中，同一阶段中的任务是否可以同时工作？

Question

同一阶段的任务是否同时工作？如果是这样，那么一个阶段中分区之间的界线指的是什么？ example of a DAG

Answer 1

这是一个供您阅读的好链接。详细解释了DAG以及其他一些您可能感兴趣的内容。 databricks blog on DAG

我可以尝试解释。在创建每个阶段时，它都有一组划分的任务。当遇到动作时。驱动程序将任务发送给执行者。根据数据的分区方式，将对分布式群集中的数据调用N个任务。所以您看到的箭头是执行计划。因为它无法在读取文件之前执行地图功能。每个具有某些数据的节点将按照DAG提供的顺序执行这些任务。