我们使用官方REST api从Hadoop资源管理器中读取各种用户和应用程序的资源使用情况。我们的问题是应用程序历史记录的持续时间不够长,因此它会为使用过的内核,内存和容器返回-1值。
我们希望延长纱线存储数据的持续时间,但我们不知道在何处设置该值。
答案 0 :(得分:1)
您应该检查mapred-site.xml并查看mapreduce.jobhistory.max-age-ms
。如下所述:
历史记录清理程序运行时,将删除早于此毫秒的作业历史记录文件。默认为604800000(1周)。
如果要阅读资源使用情况,则应考虑使用作业历史记录服务器的Job API和Job Counters API。 RM REST API显示即时使用而非累积使用。