HDinsight - Hive Java堆错误

Question

我试图在HDinsight上使用Hive运行一个简单的查询。 地图任务保持失败，下面是日志错误：

2015-02-28 19:01:02,114 INFO [main]       org.apache.hadoop.hive.ql.exec.mr.ExecMapper: ExecMapper: processed 336785 rows: used memory = 414394136
2015-02-28 19:01:02,130 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

我尝试通过添加以下内容来设置java堆大小：     设置mapred.child.java.opts = -Xmx2048m;

我还尝试将此值设置为-Xmx1024m，最高为-Xmx8g但没有成功。

Answer 1

原来我有一个数据集问题，我文件中的一行接近5gb