hadoop hive:给映射器内存范围的方法

时间:2017-12-19 19:13:10

标签: java hadoop hive mapreduce

目前,我正在使用Hive设置mapreduce.map.memory.mb=10240mapreduce.map.java.opts=-Xmx8192m来为mapper提供所需的内存。

但是随着数据量每天都在增长,我必须在检查错误container is running beyond virtual memory limits后每隔一段时间增加一次此设置。

有没有办法为mapper指定一些最小和最大内存,其中Hive本身将首先尝试使用最小内存配置,然后在需要时逐步增加它?

0 个答案:

没有答案