我们怎样才能预先确定Spark工作的数量？

Question

根据我的经验，Spark驱动程序可以为给定的应用程序运行多个作业，每个执行程序分阶段分解为任务。

我似乎无法理解的是，何时以及为什么一个sparkcontext会运行超过1份工作？

Answer 1

行动与工作之间存在1 ... *关系。每个操作至少需要一个作业，但可以透明地触发其他操作（例如计算统计信息）。