Spark cores与Yarn Vcor​​es

时间:2019-01-07 07:00:49

标签: apache-spark hadoop yarn

我正在使用群集模式在纱线中运行Spark作业,并使用

设置spark提交中的芯数。
 --num-executors 2 --executor-memory 2G --executor-cores 2 \
 --driver-memory 2G --driver-cores 1 \

在纱线中,它分配以下内容:3个容器,每个容器只有1个纱线芯线

在我的火花中,我明确定义为每个执行程序使用2个内核,而驱动程序使用1个内核,因此我假设它应该总共使用5个纱线vcores-看来并非如此。

当我检查SPARK-UI时,它为每个执行器使用2个内核。

这是我从本文中了解的内容: https://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/

但是似乎无论我在spark工作中定义了多少个核心,每个容器的纱线vcore总是只使用1个。

这是正确的吗?我的火花执行器有很多核,但是yarn只给我1个vcore,这不会冲突吗?

0 个答案:

没有答案