我试图在HDinsight上使用Hive运行一个简单的查询。 地图任务保持失败,下面是日志错误:
2015-02-28 19:01:02,114 INFO [main] org.apache.hadoop.hive.ql.exec.mr.ExecMapper: ExecMapper: processed 336785 rows: used memory = 414394136
2015-02-28 19:01:02,130 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space
我尝试通过添加以下内容来设置java堆大小: 设置mapred.child.java.opts = -Xmx2048m;
我还尝试将此值设置为-Xmx1024m,最高为-Xmx8g但没有成功。
答案 0 :(得分:0)
原来我有一个数据集问题,我文件中的一行接近5gb