在继续之前，Spark驱动程序是否等待所有分区从rdd.foreachPartition完成工作？

Question

例如，如果我在Spark驱动程序中运行以下代码：

rdd.foreachPartition(iterator => myFunc(iterator))

val x = 1

驱动程序会在继续并设置变量myFunc()之前等待每个分区完成运行x吗？还是在至少一个分区仍在运行x时驱动程序设置myFunc()？

Answer 1

是的，确实如此。除了AsyncRDDActions以外，所有RDD方法都被阻止，并等待相关任务完成。