每个人,我都在努力调整我们的Hadoop工作。
为了减少映射的混排和排序,我发现mapreduce.task.io.sort.mb
参数非常有帮助。
我的问题是,此参数是否设置了最大上限,并且按需分配了排序存储空间,还是根据参数的值仅分配了一次排序空间?
为了扩大此参数,我还需要增加mapreduce.map.java.opts
。由于mapreduce.map.java.opts
只是一个最大上限,我倾向于认为mapreduce.task.io.sort.mb
也是一个上限,并且按需分配了排序空间。
但是我的另一位同事对此表示怀疑,因此我找不到固定的结论。
有人可以提出一些建议吗?并指出一些有关此的技术文档吗?
感谢与问候