是否可以让Spark在单个执行程序上运行整个Taskset?

时间:2018-03-08 14:07:55

标签: apache-spark taskmanager apache-spark-standalone

我在本地群集上运行一个spark任务(1个master-2workers / executors)。

从我所理解的到现在,一份工作的所有阶段都被分成了任务。每个阶段都有自己的任务集。此TaskSet的每个任务都将在本地集群的执行程序上进行调度。

我想让Spark的TaskSetManager在同一个(本地)执行器上安排TaskSet(单个Stage)的所有任务,但我还没想出怎么做。

谢谢, 吉姆

1 个答案:

答案 0 :(得分:0)

在提交作业时,提供执行者数量为一个