Question

我已经使用了火花和纱线很长一段时间了，并且大多数都有一个处理所有spark-submit参数。我目前正在使用5节点EMR集群，1个主服务器和4个工作服务器，所有M3.xlarge都是在4个vCore上进行规范的。（实际上，当我进入机器并进行检查时，实际上只有3个核心。）

但是，当我把工作提交到emr

时

spark-submit --master yarn --class myclass --num-executors 9 --executor-cores 2 --executor-memory 500M my.jar

纱线控制台总是显示我总共有32个vCore，使用了4个vCore，活动节点数为4.

所以vCores的总数是一个真正的谜。怎么会有32个vCores？即使您计算主节点，也有5 * 4个vCores = 20.不计算主节点，活动工作节点确实是4.这会使总的vCore计数为16，而不是32.任何人都可以解释这个吗？ / p>

Answer 1

您运行的硬件使用超线程技术。这允许每个物理核心作为两个虚拟核心工作。您的四台工作机器有4个物理内核，但实际上对应于8个虚拟内核。