在尝试将数据从一个现有表复制到新表时,使用Create table clone作为select * from t_table,它的工作非常完美。另一方面,在尝试将数据从现有表复制到另一个现有表时,使用Insert into table_clone select column1,col2 .... from t_table,它抛出Heap空间错误。源表在两种情况下都相同。
我已尝试使用不同大小的Container,Mapper,reducer,mapreduce.map.java.opts -Xmx5124m,但每次都会抛出相同的错误。
设置很少:
yarn.scheduler.minimum-allocation-mb:4GB
yarn.scheduler.maximum-allocation-mb:6GB
容器内存(yarn.nodemanager.resource.memory-mb):18 GB
mapreduce.map.memory.mb:6 GB
mapreduce.reduce.memory.mb:8 GB
mapreduce.map.java.opts:-Xmx5124m
mapreduce.reduce.java.opts:-Xmx6144m
我无法将数据从非分区表复制到另一个非分区表。虽然主要要求是从非分区表复制到分区表。
这里我将纱线日志附加到部分文件托管网站上 1. http://textuploader.com/522pt 2. http://textuploader.com/522pq 3. http://textuploader.com/522ph 4. http://textuploader.com/522pf
我们正在使用Cloudera quickstart,它将MapReduce2嵌入到设置中。