面对Hive上的Java堆空间错误

时间:2016-02-24 13:05:22

标签: java hadoop hive yarn cloudera-cdh

在尝试将数据从一个现有表复制到新表时,使用Create table clone作为select * from t_table,它的工作非常完美。另一方面,在尝试将数据从现有表复制到另一个现有表时,使用Insert into table_clone select column1,col2 .... from t_table,它抛出Heap空间错误。源表在两种情况下都相同。

我已尝试使用不同大小的Container,Mapper,reducer,mapreduce.map.java.opts -Xmx5124m,但每次都会抛出相同的错误。

设置很少:

yarn.scheduler.minimum-allocation-mb:4GB

yarn.scheduler.maximum-allocation-mb:6GB

容器内存(yarn.nodemanager.resource.memory-mb):18 GB

mapreduce.map.memory.mb:6 GB

mapreduce.reduce.memory.mb:8 GB

mapreduce.map.java.opts:-Xmx5124m

mapreduce.reduce.java.opts:-Xmx6144m

我无法将数据从非分区表复制到另一个非分区表。虽然主要要求是从非分区表复制到分区表。

这里我将纱线日志附加到部分文件托管网站上 1. http://textuploader.com/522pt 2. http://textuploader.com/522pq 3. http://textuploader.com/522ph 4. http://textuploader.com/522pf

我们正在使用Cloudera quickstart,它将MapReduce2嵌入到设置中。

0 个答案:

没有答案