我的任务由多个sql合并。我将这些sql复制到浏览器窗口以执行。任务将成功。 但是我将sql复制到文件,然后编辑工作流。我执行工作流程,它总是在特定点上有错误。 我的SQL在标头中包含一些设置。
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set mapreduce.map.memory.mb=5120;
set mapreduce.reduce.memory.mb=5120;
set mapreduce.map.java.opts=-Xmx4096m;
set mapreduce.reduce.java.opts=-Xmx4096m;
create table as select ......;
create table as select ......;
create table as select ......;
哦,这个问题令我感到惊讶。我不明白有人帮我吗?
错误信息是“ ...正在运行,超出了物理内存限制。当前使用情况:已使用2.0 GB的2 GB物理内存;已使用3.5 GB的4.2 GB虚拟内存。正在杀死容器”。此错误发生在地图阶段。