为什么我们需要为Spark应用程序指定执行者核心?

时间:2018-11-04 21:26:58

标签: apache-spark pyspark yarn

我需要知道为什么要为在纱线上运行的spark应用程序指定执行程序核心。可以说我们有一个具有以下规格的集群:

工作节点数:4(50 GB内存和8个内核)

一个拥有50 GB内存和8个内核的主节点。

现在让我们考虑一下,

a)如果我为一个应用程序指定了8个num_executors,但是我没有设置executor-cores,那么每个执行者将使用所有内核吗?

b)由于每个节点有8个核心,所以如果我指定executor_cores = 4怎么办,这意味着它将限制用于执行者的执行者核心不应超过4个,而每个节点的总核心数却是8个?

c)为Spark应用程序指定executor_cores的标准是什么?

0 个答案:

没有答案