我在HDFS上以YARN模式运行Spark Cluster。我推出了一个拥有2个内核和2g内存的工作者。然后我提交了一个动态配置1个执行器和3个核心的作业。不过，我的工作能够运行。有人可以解释启动工作者的核心数量与执行者请求的核心数量之间的差异。我的理解是，由于执行人员在工人内部运行，他们无法获得比工人可用资源更多的资源。
答案 0 :(得分：0)
在yarn-site.xml中检查参数yarn.nodemanager.resource.cpu-vcores。
yarn.nodemanager.resource.cpu-vcores控制每个节点上容器使用的最大内核总数。
答案 1 :(得分：0)
- ＆gt; Spark在工作节点内启动了许多执行程序。 - ＆gt; Spark使用核心数和执行程序内存参数在应用程序提交到spark集群时启动执行程序。 - ＆gt;在spark submit中，我们无法指定工作节点的核心数。