Question

我有一个运行Spark的集群，有4个服务器，每个服务器有8个核心。不知何故，主人没有检测到所有可用的核心。它使用32个核心中的18个：

我没有设置与no有关的任何内容。任何spark conf文件中的核心（至少不是我所知道的）

我很肯定每个集群成员都有相同的号码。核心（8）：

有没有办法让Spark检测/使用其他内核？

Answer 1

我找到了它但仍然有点不清楚：

一个节点只贡献了8个核心中的1个，因此在$ SPARK_HOME / conf / spark-env.sh中打开了此设置：

SPARK_WORKER_CORES=1

评论它为该节点做了诀窍。 Spark默认会抓取所有核心。（同样适合记忆）

但是......在只有1个核心的另一个节点上，这个设置没有被激活，但Spark仍然没有抓住8个核心，直到我明确告诉它：

SPARK_WORKER_CORES=8

但至少它现在正在抓住所有资源。