我有点困惑,在Hadoop集群设置中,在“Real-World Cluster Configurations”部分中,给出了一个示例,其中包含io.sort.mb和amp;等属性。 io.sort.factor进入core-site.xml。但是在默认配置文件中,这些属性显示在mapred-site.xml中!我应该遵循哪一个?我可以自由地把它放在任何地方吗?如果是,三个配置文件(core,mapred和hdfs .xml)之间有什么区别?
是否有所有可能属性的完整列表?
非常感谢任何帮助..
编辑:试验和错误我发现io.sort.mb属于mapred-site.xml。
答案 0 :(得分:1)
core-default.html, hdfs-default.html和 mapred-default.html包含所有属性及其默认值。
根据'Hadoop : The Definitive Guide'
core-site.xml具有“Hadoop Core的配置设置,例如HDFS和MapReduce常用的I / O设置。”
hdfs-site.xml具有'HDFS守护进程的配置设置:namenode,辅助名称节点和datanode。'
mapred-site.xml有'MapReduce守护进程的配置设置:jobtracker和tasktrackers。'
查找有关配置文件here的更多信息。