如何清除Hadoop作业历史记录

时间:2013-11-06 16:12:22

标签: hadoop

我正在使用标准Apache发行版的Hadoop Map / Reduce Administration UI。随着时间的推移,执行的工作列表变得越来越大。如何从历史列表中删除旧作业?

2 个答案:

答案 0 :(得分:1)

Hadoop作业执行具有生命周期,这是解释的 here

工作状态流程
跑步 - >完成 - >退役

我们可以使用一些重要的配置来控制作业保留。

mapred.jobtracker.completeuserjobs.maximum: Number of jobs to keep in memory after Running state. Try configure to less value...

mapred.jobtracker.retirejob.interval: Default interval value is  24 * 60 * 60 * 1000 (1 Day). That means completed jobs will be retired after one day by default.

尝试将属性“mapred.jobtracker.retirejob.interval”配置为1小时左右。

答案 1 :(得分:0)

另一个建议(更极端)就是重新启动你的jobtracker。