我想知道你是否设置了mapred.child.java.opts选项，是否设置了每个工作节点或每个map / reduce插槽的内存量？
例如mapred.child.java.opts=Xmx2000m，每个节点或插槽大约2 GB？
谢谢
答案 0 :(得分：0)
通常可以为每个节点或每个作业设置mapred.child.java.opts。
因此，假设您在节点上同时运行的映射器（mapred.tasktracker.map.tasks.maximum）+ reducer（mapred.tasktracker.reduce.tasks.maximum）为12，则mapred.child.java.opts确定该节点对子进程使用了多少RAM。
例如：
mapred.tasktracker.map.tasks.maximum = 10
mapred.tasktracker.reduce.tasks.maximum = 2
mapred.child.java.opts = -Xmx256m
total ram used by child processes = (10 + 2) * 256m =~ 3GB