我有一个带有r5.4xlarge的EMR集群,其中有20个从属设备,1个主设备和配置:
spark maximizeResourceAllocation false
spark.driver.memory: 100G
spark.driver.maxResultSize: 1G
spark.speculation: false
spark.executor.instances: 300, 301, or 302
spark.dynamicAllocation.enabled: false
spark.yarn.executor.memoryOverhead: 1000
spark.executor.cores: 1
spark.executor.memory: 7G
yarn.nodemanager.localizer.cache.target-size-mb: 10000
yarn.nodemanager.resource.memory-mb: 122000
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage: 98
我认为20个从属(每个节点16个vCore + 128GB内存)可以在从属节点中提供总共300个执行器,因为15个核心* 1个执行器* 20个节点= 300个执行器。
但是从资源管理器的角度来看,我总是只看到281个执行者。 我应该更新哪个配置以在每个节点上使用15个内核?