我在4节点集群上运行。
请建议我应该把容器内存的大小放在哪里。如果我把它超过1 GB,那么确切的大小。
配置容器内存的标准是什么?
错误:
此任务的诊断消息: Container [pid = 46465,containerID = container_1503271937182_4757_01_000032]是 超越物理内存限制。当前用法:1 GB的1.0 GB 使用的物理内存;使用2.7 GB的2.1 GB虚拟内存。杀 容器。 container_1503271937182_4757_01_000032的进程树转储: | - PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS)SYSTEM_TIME(MILLIS)VMEM_USAGE(BYTES)RSSMEM_USAGE(PAGES) FULL_CMD_LINE | - 46465 46463 46465 46465(bash)0 0 108654592 308 / bin / bash -c /usr/java/jdk1.8.0_121/bin/java -Djava.net.preferIPv4Stack = true -Dhadoop.metrics.log.level = WARN -Djava.net.preferIPv4Stack = true -Xmx820m -Djava.io.tmpdir = / data3 / yarn / nm / usercache / hdfs / appcache / application_1503271937182_4757 / container_1503271937182_4757_01_000032 / tmp目录 -Dlog4j.configuration = container-log4j.properties -Dyarn.app.container.log.dir = / data1 / yarn / container-logs / application_1503271937182_4757 / container_1503271937182_4757_01_000032 -Dyarn.app.container.log.filesize = 0 -Dhadoop.root.logger = INFO,CLA -Dhadoop.root.logfile = syslog org.apache.hadoop.mapred.YarnChild 10.104.72.113 58079 attempt_1503271937182_4757_m_000015_3 32 1> / data1 /纱/容器日志/ application_1503271937182_4757 / container_1503271937182_4757_01_000032 /标准输出 2 - ; / DATA1 /纱线/容器日志/ application_1503271937182_4757 / container_1503271937182_4757_01_000032 /标准错误 | - 46483 46465 46465 46465(java)2929 1281 2828042240 262018 /usr/java/jdk1.8.0_121/bin/java -Djava.net.preferIPv4Stack = true -Dhadoop.metrics.log.level = WARN -Djava.net.preferIPv4Stack = true -Xmx820m -Djava.io.tmpdir = / data3 / yarn / nm / usercache / hdfs / appcache / application_1503271937182_4757 / container_1503271937182_4757_01_000032 / tmp -Dlog4j.configuration = container-log4j.properties -Dyarn.app.container.log.dir = / data1 / yarn / container-logs / application_1503271937182_4757 / container_1503271937182_4757_01_000032 -Dyarn.app.container.log.filesize = 0 -Dhadoop.root.logger = INFO,CLA -Dhadoop.root.logfile = syslog org.apache.hadoop.mapred.YarnChild 10.104.72.113 58079 attempt_1503271937182_4757_m_000015_3 32
根据要求杀死了容器。退出代码是143 容器以非零退出代码143退出
失败:执行错误,从org.apache.hadoop.hive.ql.exec.mr.MapRedTask返回代码2 MapReduce工作推出: Stage-Stage-1:Map:18 Reduce:72累积CPU:1219.78 sec HDFS阅读:3412303867 HDFS写:3935714 SUCCESS Stage-Stage-9:Map:18 Reduce:72累积CPU:332.43 sec HDFS阅读:3321536722 HDFS写:0 FAIL 总MapReduce CPU耗时:25分52秒210毫秒 蜂巢失败