hadoop中的公平调度

时间:2012-12-28 04:35:39

标签: hadoop

在多节点设置(主从)中配置公平调度时,是否应在mapred-site.xml中为两个节点或仅在主节点中定义属性? 谢谢。

1 个答案:

答案 0 :(得分:0)

通常,您不需要在多个位置定义属性。如果需要,Hadoop会自动将mapred-site.xml文件复制到从属服务器。

如果您在本地运行,则需要编辑HADOOP_CONF_DIR/mapred-site.xml

如果您在Amazon的EMR集群上运行,那么在启动集群本身时,您可以将此配置文件作为bootstrap-action提供,并将其复制到所有节点中。可以使用cli完成,如下所示:

ruby elastic-mapreduce --create --alive --plain-output --master-instance-type m1.xlarge --
slave-instance-type m1.xlarge --num-instances 11  --name "Cluster name"  --bootstrap-action 
s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args "--mapred-config-file, 
s3://<path-to-conf>/mapred-site-edited.xml"

所以基本上每个Hadoop节点都应该有自己的配置,但你不需要手动将它们复制到每个节点。