ElasticMapReduce:每个EC2类型的映射器/缩减器数量

时间:2013-08-21 07:02:52

标签: hadoop elastic-map-reduce

我想知道根据您选择的EC2服务器的实例类型,映射器和缩减器的数量是否会有所不同?我发现Large实例使用3个映射器和1个reducer。对于其他所有类型(例如,xLarge实例),它是否相同?我知道我可以通过bootstraping覆盖它,但只是想知道。

1 个答案:

答案 0 :(得分:1)

不,每种实例类型都不相同。 亚马逊有一个Hadoop默认配置的概念,它由AMI版本控制,最新版本是AMI-2.3。 这些配置定义了许多hadoop配置的默认值,例如对于m1.xlarge,以下配置默认设置为使用AMI-2.3

Parameter   Value
HADOOP_JOBTRACKER_HEAPSIZE  6912
HADOOP_NAMENODE_HEAPSIZE    2304
HADOOP_TASKTRACKER_HEAPSIZE 384
HADOOP_DATANODE_HEAPSIZE    384
mapred.child.java.opts  -Xmx768m
mapred.tasktracker.map.tasks.maximum    8
mapred.tasktracker.reduce.tasks.maximum 3

有关详细信息,请参阅以下内容: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryDefault_AMI2.3.html http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-config.html