Hadoop Resource Manager存储应用程序信息多长时间?

时间:2017-06-27 13:17:56

标签: hadoop resources yarn

我们使用官方REST api从Hadoop资源管理器中读取各种用户和应用程序的资源使用情况。我们的问题是应用程序历史记录的持续时间不够长,因此它会为使用过的内核,内存和容器返回-1值。

我们希望延长纱线存储数据的持续时间,但我们不知道在何处设置该值。

1 个答案:

答案 0 :(得分:1)

您应该检查mapred-site.xml并查看mapreduce.jobhistory.max-age-ms。如下所述:

https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

  

历史记录清理程序运行时,将删除早于此毫秒的作业历史记录文件。默认为604800000(1周)。

如果要阅读资源使用情况,则应考虑使用作业历史记录服务器的Job API和Job Counters API。 RM REST API显示即时使用而非累积使用。

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_API

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_Counters_API