为执行程序的单个任务分配固定资源

时间:2017-05-04 13:15:46

标签: apache-spark

根据Deep Dive: Apache Spark Memory Management,对同一执行者并行运行的任务存在争议。

Spark 1.0 + 有两种可能的选择:

  • 选项1:静态分配 - 资源在各个任务之间共享,
  • 选项2:动态分配 - 动态跨任务共享资源

AFAIK Spark默认使用第二个选项。是否有可能为每个任务手动指定最大资源?

0 个答案:

没有答案