如何在Elastic MapReduce上的Hadoop 2.4.0中为每个节点设置精确的最大并发运行任务数

Question

根据http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/，确定每个节点并发运行任务数的公式为：

min (yarn.nodemanager.resource.memory-mb / mapreduce.[map|reduce].memory.mb, 
     yarn.nodemanager.resource.cpu-vcores / mapreduce.[map|reduce].cpu.vcores) .

但是，将这些参数设置为（对于c3.2xlarges的集群）：

yarn.nodemanager.resource.memory-mb = 14336

mapreduce.map.memory.mb = 2048

yarn.nodemanager.resource.cpu-vcores = 8

mapreduce.map.cpu.vcores = 1，

我发现，当公式显示7应该是每个节点时，我只能同时运行4个任务。这笔交易是什么？

我在AMI 3.1.0上运行Hadoop 2.4.0。

Answer 1

我的经验公式不正确。 Cloudera提供的公式是正确的，并且似乎给出了预期的并发运行任务数，至少在AMI 3.3.1上。