如何使用作业名称从YARN日志中获取用于FINISHED hadoop作业的资源？

Question

我有一个运行多个配置单元脚本的unix shell脚本。我已经为hive脚本中的每个hive查询提供了Job名称。

我需要的是，在shell脚本的末尾，我想根据来自具有appstatus的YARN日志/应用程序的作业名称来检索用于配置单元查询的资源（根据使用的内存，容器） '完成'

我该怎么做？ 任何帮助将不胜感激。

Answer 1

您可以通过rest apis从Yarn History服务器提取此信息。

https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/HistoryServerRest.html

滚动浏览此文档，您将看到如何获取有关已执行作业的集群级别信息以及如何获取有关各个作业的信息的示例。