我们的Hadoop集群显示作业跟踪器进程逐渐占用内存，我们必须每周重新启动集群。我四处寻找可能的解决方案。其中一个帖子提到将'mapred.jobtracker.completeuserjobs.maximum'减少到5，所以我检查了名称节点上/ hadoop-install / conf目录下的mapred-site.xml，发现该参数有两个条目，一个它到30，另一个设置为5，当我转到任何数据节点并检查mapred-site.xml时，我根本找不到该参数的设置。但是当我检查M / R管理页面上的运行作业并检查其作业文件时，它显示参数设置为100.我真的很困惑这个参数设置在哪里。如果我更新它，我需要重新启动群集吗？我们在谷歌云上运行apache Hadoop 1.2.1
答案 0 :(得分：0)
Hadoop不会自动将配置文件从驱动程序计算机复制到所有集群计算机您需要通过scp和/或rsync执行此操作，或者最好使用自动部署工具，如chef，ansible，puppet等。
就单个作业参数而言：您实际上可以使用-D来基于每个作业设置它们：
<path to jar>/myHadoopJobJar.jar -Dmapred.jobtracker.completeuserjobs.maximum=5