Spark何时将分区分配给worker的map()?

时间:2018-09-11 01:11:30

标签: apache-spark

我想知道Spark在map()操作期间何时将分区分配给每个工作人员。我猜这可能是以下两个选项之一:

  1. 在计算开始之前,Spark将所有分区分配给工作程序
  2. Spark从一开始就为每个工作者分配一个分区。在每个工作人员完成分区处理之后,将获得一个新分区进行处理,依此类推。

能否请您在此分享Spark使用的策略?

谢谢

0 个答案:

没有答案