Question

如果有人能帮助我找出配置中出现的问题，我们将不胜感激。

我想增加io.sort.mb的值，因此我在core-site.xml中添加了以下属性。 io.sort.mb 350米

我在下面附上的运行时信息清楚地表明，io.sort.mb的值没有改变，而是保留了默认值io.sort.mb = 100。

13/08/15 16:43:34 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@1e5e96c1
13/08/15 16:43:34 INFO mapred.MapTask: numReduceTasks: 1
13/08/15 16:43:34 INFO mapred.MapTask: **io.sort.mb = 100**
13/08/15 16:43:34 INFO mapred.MapTask: data buffer = 79691776/99614720
13/08/15 16:43:34 INFO mapred.MapTask: record buffer = 262144/327680
13/08/15 16:43:34 INFO mapred.MapTask: Starting flush of map output
13/08/15 16:43:34 INFO mapred.MapTask: Finished spill 0
13/08/15 16:43:34 INFO mapred.Task: Task:attempt_local_0001_m_004609_0 is done. And is in the process of commiting

由于它不起作用，我在mapred-site.xml架构中添加了属性，但是我得到了与上面相同的结果。

有人可以建议我该怎么办？

提前感谢你。

哈克

Answer 1

根据文章here io.sort.mb应该是10 * io.sort.factor，如果你有ram。
“核心-site.xml中”

<property>
<name>io.sort.factor</name>
<value>100</value>
<description>More streams merged at once while sorting files.</description>
</property>  

<property>
<name>io.sort.mb</name>
<value>200</value>
<description>Higher memory-limit while sorting data.</description>
</property>

尝试在所有节点上更改排序因子。

Answer 2

此conf应位于mapred-site.xml而不是core-site.xml

参考：http://hadoop.apache.org/docs/r1.0.4/mapred-default.html

增加io.sort.mb

2 个答案: