我最近开始使用Unix接口或SQL工作台来开发Hive 有时我遇到一个错误,上面写着“请使用Xmx参数增加Java堆空间”。我认为这与查询的效率有关。任何人都可以给我一些关于堆大小的背景并帮助我增加它吗?
答案 0 :(得分:0)
配置单元中的Java堆空间设置为默认值1024 MB。这适用于相对较小的数据和非密集型查询,但是一旦开始处理较大的表和更复杂的查询,默认值就不够了。根据您的计算机上可用的RAM数量,我会考虑将默认值加倍或增加三倍至2048 MB或3072 MB。
您可以转到/ etc / hive / conf目录并在那里编辑hive-env.sh文件。对于你来说,在那个文件中会有一个看起来像
的行export HADOOP_HEAPSIZE=1024
你所要做的就是将这个值改为我提到的那个。如果这仍然不够,请继续增加hive,直到您的查询没有失败。确保在您执行此操作时,了解您的机器有多少内存。
答案 1 :(得分:0)
增加堆大小
例如,要将堆大小增加到1GB,请将其设置为
mapred.child.java.opts= -Xmx1024m