我正在使用群集模式在纱线中运行Spark作业,并使用
设置spark提交中的芯数。 --num-executors 2 --executor-memory 2G --executor-cores 2 \
--driver-memory 2G --driver-cores 1 \
在纱线中,它分配以下内容:3个容器,每个容器只有1个纱线芯线
在我的火花中,我明确定义为每个执行程序使用2个内核,而驱动程序使用1个内核,因此我假设它应该总共使用5个纱线vcores-看来并非如此。
当我检查SPARK-UI时,它为每个执行器使用2个内核。
这是我从本文中了解的内容: https://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/
但是似乎无论我在spark工作中定义了多少个核心,每个容器的纱线vcore总是只使用1个。
这是正确的吗?我的火花执行器有很多核,但是yarn只给我1个vcore,这不会冲突吗?