Apache Spark - 使用虚拟或物理内核?

时间:2016-07-14 20:17:23

标签: apache-spark hyperthreading

我在一台计算机上安装了Apache Spark 1.6.1独立集群,其规格如下:

CPU: Core i7-4790 (# of cores: 4, # of threads: 8)
RAM: 16GB

如果我有以下配置:

SPARK_WORKER_INSTANCES = 1
SPARK_WORKER_CORES = 3
SPARK_WORKER_MEMORY = 14GB

我的问题是:

(A)我的工作是否使用:

  • 工作人员的3个物理核心,驱动程序的1个物理核心:总共4个物理核心?
  • 2个物理核心和1个vcore用于工作者,1个物理核心用于驱动程序:总共3个物理核心?
  • 为工人提供2个物理核心和1个vcore,为驱动程序提供1个vcore:总共2个物理核心?
  • 分配的vcores和物理vcores的任何其他组合?

(B)有没有办法将Spark设置为仅使用第一个物理内核,如果我需要的不仅仅是物理内核,那么只使用vcores?

(C)有没有办法知道Spark是使用物理还是vcores?

(D)是否有正式的地方可以找到Spark关于物理和虚拟核心的行为信息?

非常感谢。

0 个答案:

没有答案