标签: java hadoop hive mapreduce
目前,我正在使用Hive设置mapreduce.map.memory.mb=10240和mapreduce.map.java.opts=-Xmx8192m来为mapper提供所需的内存。
mapreduce.map.memory.mb=10240
mapreduce.map.java.opts=-Xmx8192m
但是随着数据量每天都在增长,我必须在检查错误container is running beyond virtual memory limits后每隔一段时间增加一次此设置。
container is running beyond virtual memory limits
有没有办法为mapper指定一些最小和最大内存,其中Hive本身将首先尝试使用最小内存配置,然后在需要时逐步增加它?