Question

在运行Hadoop任务时，我收到以下错误

mapred-site.xml

我在stackoverflow中搜索，它给了我几页（mysql_db module，Link1）。但它没有帮助。我还是得到了错误。我当前的<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.map.java.opts</name> <value> -Xmx3072m</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value> -Xmx6144m</value> </property> <property> <name>mapreduce.map.memory.mb</name> <value>4096</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>8192</value> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx2048m</value> </property> </configuration>文件如下：

{
"name": "some/new-name",
"description": "New Apps from SelimReza.com",
"type": "library",
"license": "MIT",
"authors": [{
"name": "Selim Reza",
"email": "me@selimreza.com"
}],
"require": {
  "php": ">=5.6",
   "selimppc/hello-world": "dev-master"
},
"minimum-stability": "dev",
"prefer-stable": true,

"autoload": {
"psr-4": {
    "HelloWorld\\": "src\\HelloWorld\\"
  }
 }
}

谢谢！

Answer 1

尝试使用以下属性：

mapreduce.map.output.compress
mapreduce.map.output.compress.codec

OR

更改内存分配道具：

mapreduce.map.memory.mb
mapreduce.reduce.memory.mb

Answer 2

我尝试更改了xml文件。但后来我发现如果我创建我的python代码（它是通过一些依赖于某些C ++ api的java api来构建对象）更加内存友好，即如果它超出范围，那么我明确地调用它的析构函数。然后问题就消失了！

Hadoop Containder超出了物理内存限制

2 个答案: