尽管--num-executors设置,但每个执行程序在Spark Yarn模式下只有1个核心

时间:2016-05-13 13:56:14

标签: apache-spark spark-streaming yarn emr

我在EMR上运行Spark。我在EMR上提交了以下内容:

spark-submit --deploy-mode cluster --master yarn --num-executors 15 --executor-cores 3 --executor-memory 3G

尽管如此,我的资源管理器UI显示3个节点中的每个节点都有4个或6个YARN容器,每个容器有1个核心和3个内存。

每个节点都有16个内核和30G内存。

似乎YARN创建了尽可能多的1核/ 3GB容器,直到节点上的内存不足为止。这使得10多个核心未被使用。

为什么Spark不尊重我的--executor-cores设置?

0 个答案:

没有答案