显示的火花执行器较少

时间:2019-12-10 23:56:22

标签: apache-spark yarn

我有一个带有r5.4xlarge的EMR集群,其中有20个从属设备,1个主设备和配置:

spark maximizeResourceAllocation false
spark.driver.memory: 100G
spark.driver.maxResultSize: 1G
spark.speculation: false
spark.executor.instances: 300, 301, or 302
spark.dynamicAllocation.enabled: false
spark.yarn.executor.memoryOverhead: 1000
spark.executor.cores: 1
spark.executor.memory: 7G
yarn.nodemanager.localizer.cache.target-size-mb: 10000
yarn.nodemanager.resource.memory-mb: 122000
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage: 98

我认为20个从属(每个节点16个vCore + 128GB内存)可以在从属节点中提供总共300个执行器,因为15个核心* 1个执行器* 20个节点= 300个执行器。

但是从资源管理器的角度来看,我总是只看到281个执行者。 我应该更新哪个配置以在每个节点上使用15个内核?

0 个答案:

没有答案