在纱线上完成应用后,将在纱线上显示大量的应用历史。
在web-ui http://localhost:8088/cluster
和命令行yarn application -list -appStates FINISHED
中都是
如何清除这些历史记录?还是纱线在哪里存储这些历史记录信息?
重新启动RM,NM不会清除这些历史记录。
删除本地文件系统$ {YARN_LOG_DIR} / userlogs中的日志不会清除这些历史记录。
在hdfs:/// tmp / logs / username / logs中删除日志的目录/文件不会清除这些历史记录。
Hadoop版本:2.7.7
答案 0 :(得分:0)
如果启用了日志聚合,则可以将yarn.log-aggregation.retain-seconds
设置为合理的值(例如一天或一周,具体取决于您运行的作业数),以使YARN连续清除作业。 / p>
否则,设置yarn.nodemanager.log.retain-seconds
以确定要保留日志的时间。
您还可以通过在yarn-site.xml中将yarn.resourcemanager.recovery.enabled
设置为false
来禁用重新启动的持久性。
有关YARN中所有可配置的日志,请参考yarn-default.xml,有关持久性的更多信息,请参考ResourceManager Restart。
答案 1 :(得分:-1)
哦,我找到了解决方法。
yarn resourcemanager -format-state-store
然后重新启动集群。
但是仍然不知道纱线在ZK中存储这些历史记录的位置吗?