在多节点设置(主从)中配置公平调度时,是否应在mapred-site.xml中为两个节点或仅在主节点中定义属性? 谢谢。
答案 0 :(得分:0)
通常,您不需要在多个位置定义属性。如果需要,Hadoop会自动将mapred-site.xml文件复制到从属服务器。
如果您在本地运行,则需要编辑HADOOP_CONF_DIR/mapred-site.xml
。
如果您在Amazon的EMR集群上运行,那么在启动集群本身时,您可以将此配置文件作为bootstrap-action提供,并将其复制到所有节点中。可以使用cli完成,如下所示:
ruby elastic-mapreduce --create --alive --plain-output --master-instance-type m1.xlarge --
slave-instance-type m1.xlarge --num-instances 11 --name "Cluster name" --bootstrap-action
s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args "--mapred-config-file,
s3://<path-to-conf>/mapred-site-edited.xml"
所以基本上每个Hadoop节点都应该有自己的配置,但你不需要手动将它们复制到每个节点。