是否按需分配mapreduce.task.io.sort.mb?

时间:2018-10-15 01:14:02

标签: hadoop

每个人,我都在努力调整我们的Hadoop工作。 为了减少映射的混排和排序,我发现mapreduce.task.io.sort.mb参数非常有帮助。

我的问题是,此参数是否设置了最大上限,并且按需分配了排序存储空间,还是根据参数的值仅分配了一次排序空间?

为了扩大此参数,我还需要增加mapreduce.map.java.opts。由于mapreduce.map.java.opts只是一个最大上限,我倾向于认为mapreduce.task.io.sort.mb也是一个上限,并且按需分配了排序空间。 但是我的另一位同事对此表示怀疑,因此我找不到固定的结论。

有人可以提出一些建议吗?并指出一些有关此的技术文档吗?

感谢与问候

0 个答案:

没有答案