如何清除hadoop纱线中的应用历史记录?

时间:2019-05-20 08:49:40

标签: hadoop yarn

在纱线上完成应用后,将在纱线上显示大量的应用历史。

在web-ui http://localhost:8088/cluster和命令行yarn application -list -appStates FINISHED中都是

如何清除这些历史记录?还是纱线在哪里存储这些历史记录信息?

重新启动RM,NM不会清除这些历史记录。

删除本地文件系统$ {YARN_LOG_DIR} / userlogs中的日志不会清除这些历史记录。

在hdfs:/// tmp / logs / username / logs中删除日志的目录/文件不会清除这些历史记录。

Hadoop版本:2.7.7

2 个答案:

答案 0 :(得分:0)

如果启用了日志聚合,则可以将yarn.log-aggregation.retain-seconds设置为合理的值(例如一天或一周,具体取决于您运行的作业数),以使YARN连续清除作业。 / p>

否则,设置yarn.nodemanager.log.retain-seconds以确定要保留日志的时间。

您还可以通过在yarn-site.xml中将yarn.resourcemanager.recovery.enabled设置为false来禁用重新启动的持久性。

有关YARN中所有可配置的日志,请参考yarn-default.xml,有关持久性的更多信息,请参考ResourceManager Restart

答案 1 :(得分:-1)

哦,我找到了解决方法。

yarn resourcemanager -format-state-store

然后重新启动集群。

但是仍然不知道纱线在ZK中存储这些历史记录的位置吗?