我有一个非常小的新EMR集群可以使用,我试图将每个节点的并发映射器数量限制为2.我尝试将默认的cpu-vcores调低到2。
使用的公式:
min((yarn.nodemanager.resource.memory-mb / mapreduce.map.memory.mb),
(yarn.nodemanager.resource.cpu-vcores / mapreduce.map.cpu.vcores))
群集配置:
AMI version: 3.3.1
Hadoop distribution: Amazon 2.4.0
Core: 4 m1.large
工作配置:
yarn.nodemanager.resource.memory-mb:5120
mapreduce.map.memory.mb:768
yarn.nodemanager.resource.cpu-vcores: 2
mapreduce.map.cpu.vcores: 1
因此,我目前正在看到22个映射器同时运行。除了根据公式错误之外,这根本没有意义,因为我有4个核心。有什么想法吗?