我在EMR上运行Spark。我在EMR上提交了以下内容:
spark-submit --deploy-mode cluster --master yarn --num-executors 15 --executor-cores 3 --executor-memory 3G
尽管如此,我的资源管理器UI显示3个节点中的每个节点都有4个或6个YARN容器,每个容器有1个核心和3个内存。
每个节点都有16个内核和30G内存。
似乎YARN创建了尽可能多的1核/ 3GB容器,直到节点上的内存不足为止。这使得10多个核心未被使用。
为什么Spark不尊重我的--executor-cores
设置?