我正在使用标准Apache发行版的Hadoop Map / Reduce Administration UI。随着时间的推移,执行的工作列表变得越来越大。如何从历史列表中删除旧作业?
答案 0 :(得分:1)
Hadoop作业执行具有生命周期,这是解释的
here
工作状态流程
跑步 - >完成 - >退役
我们可以使用一些重要的配置来控制作业保留。
mapred.jobtracker.completeuserjobs.maximum: Number of jobs to keep in memory after Running state. Try configure to less value...
mapred.jobtracker.retirejob.interval: Default interval value is 24 * 60 * 60 * 1000 (1 Day). That means completed jobs will be retired after one day by default.
尝试将属性“mapred.jobtracker.retirejob.interval”配置为1小时左右。
答案 1 :(得分:0)
另一个建议(更极端)就是重新启动你的jobtracker。