在运行配置单元脚本时,我遇到了容器内存限制和查询失败。目前它默认为1 GB

时间:2017-08-30 16:37:45

标签: hadoop hive

我在4节点集群上运行。

请建议我应该把容器内存的大小放在哪里。如果我把它超过1 GB,那么确切的大小。

配置容器内存的标准是什么?

错误:

  

此任务的诊断消息:       Container [pid = 46465,containerID = container_1503271937182_4757_01_000032]是   超越物理内存限制。当前用法:1 GB的1.0 GB   使用的物理内存;使用2.7 GB的2.1 GB虚拟内存。杀   容器。       container_1503271937182_4757_01_000032的进程树转储:               | - PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS)SYSTEM_TIME(MILLIS)VMEM_USAGE(BYTES)RSSMEM_USAGE(PAGES)   FULL_CMD_LINE               | - 46465 46463 46465 46465(bash)0 0 108654592 308 / bin / bash -c /usr/java/jdk1.8.0_121/bin/java   -Djava.net.preferIPv4Stack = true -Dhadoop.metrics.log.level = WARN -Djava.net.preferIPv4Stack = true -Xmx820m -Djava.io.tmpdir = / data3 / yarn / nm / usercache / hdfs / appcache / application_1503271937182_4757 / container_1503271937182_4757_01_000032 / tmp目录   -Dlog4j.configuration = container-log4j.properties -Dyarn.app.container.log.dir = / data1 / yarn / container-logs / application_1503271937182_4757 / container_1503271937182_4757_01_000032   -Dyarn.app.container.log.filesize = 0 -Dhadoop.root.logger = INFO,CLA -Dhadoop.root.logfile = syslog org.apache.hadoop.mapred.YarnChild 10.104.72.113 58079 attempt_1503271937182_4757_m_000015_3 32 1> / data1 /纱/容器日志/ application_1503271937182_4757 / container_1503271937182_4757_01_000032 /标准输出   2 - ; / DATA1 /纱线/容器日志/ application_1503271937182_4757 / container_1503271937182_4757_01_000032 /标准错误               | - 46483 46465 46465 46465(java)2929 1281 2828042240 262018 /usr/java/jdk1.8.0_121/bin/java -Djava.net.preferIPv4Stack = true   -Dhadoop.metrics.log.level = WARN -Djava.net.preferIPv4Stack = true -Xmx820m -Djava.io.tmpdir = / data3 / yarn / nm / usercache / hdfs / appcache / application_1503271937182_4757 / container_1503271937182_4757_01_000032 / tmp   -Dlog4j.configuration = container-log4j.properties -Dyarn.app.container.log.dir = / data1 / yarn / container-logs / application_1503271937182_4757 / container_1503271937182_4757_01_000032   -Dyarn.app.container.log.filesize = 0 -Dhadoop.root.logger = INFO,CLA -Dhadoop.root.logfile = syslog org.apache.hadoop.mapred.YarnChild 10.104.72.113 58079 attempt_1503271937182_4757_m_000015_3 32

     

根据要求杀死了容器。退出代码是143    容器以非零退出代码143退出

     

失败:执行错误,从org.apache.hadoop.hive.ql.exec.mr.MapRedTask返回代码2       MapReduce工作推出:       Stage-Stage-1:Map:18 Reduce:72累积CPU:1219.78 sec HDFS阅读:3412303867 HDFS写:3935714 SUCCESS       Stage-Stage-9:Map:18 Reduce:72累积CPU:332.43 sec HDFS阅读:3321536722 HDFS写:0 FAIL       总MapReduce CPU耗时:25分52秒210毫秒       蜂巢失败

0 个答案:

没有答案