我需要知道为什么要为在纱线上运行的spark应用程序指定执行程序核心。可以说我们有一个具有以下规格的集群:
工作节点数:4(50 GB内存和8个内核)
一个拥有50 GB内存和8个内核的主节点。
现在让我们考虑一下,
a)如果我为一个应用程序指定了8个num_executors,但是我没有设置executor-cores,那么每个执行者将使用所有内核吗?
b)由于每个节点有8个核心,所以如果我指定executor_cores = 4怎么办,这意味着它将限制用于执行者的执行者核心不应超过4个,而每个节点的总核心数却是8个?
c)为Spark应用程序指定executor_cores的标准是什么?