Hadoop中“io.sort.mb”的正确位置?

时间:2011-09-24 11:35:18

标签: configuration hadoop

我有点困惑,在Hadoop集群设置中,在“Real-World Cluster Configurations”部分中,给出了一个示例,其中包含io.sort.mb和amp;等属性。 io.sort.factor进入core-site.xml。但是在默认配置文件中,这些属性显示在mapred-site.xml中!我应该遵循哪一个?我可以自由地把它放在任何地方吗?如果是,三个配置文件(core,mapred和hdfs .xml)之间有什么区别?

是否有所有可能属性的完整列表?

非常感谢任何帮助..

编辑:试验和错误我发现io.sort.mb属于mapred-site.xml。

1 个答案:

答案 0 :(得分:1)

core-default.html hdfs-default.html mapred-default.html包含所有属性及其默认值。

根据'Hadoop : The Definitive Guide'

core-site.xml具有“Hadoop Core的配置设置,例如HDFS和MapReduce常用的I / O设置。”

hdfs-site.xml具有'HDFS守护进程的配置设置:namenode,辅助名称节点和datanode。'

mapred-site.xml有'MapReduce守护进程的配置设置:jobtracker和tasktrackers。'

查找有关配置文件here的更多信息。