我在一台计算机上安装了Apache Spark 1.6.1独立集群,其规格如下:
CPU: Core i7-4790 (# of cores: 4, # of threads: 8)
RAM: 16GB
如果我有以下配置:
SPARK_WORKER_INSTANCES = 1
SPARK_WORKER_CORES = 3
SPARK_WORKER_MEMORY = 14GB
我的问题是:
(A)我的工作是否使用:
(B)有没有办法将Spark设置为仅使用第一个物理内核,如果我需要的不仅仅是物理内核,那么只使用vcores?
(C)有没有办法知道Spark是使用物理还是vcores?
(D)是否有正式的地方可以找到Spark关于物理和虚拟核心的行为信息?
非常感谢。