通过Web UI访问纱线日志

Question

如何通过web ui访问纱线作业日志？

1. 我可以通过纱线经理网站查看作业日志。但每次纱线重启时，纱线管理器的应用程序列表为空。图片是重启前的。



1. 我可以通过CLI命令访问应用程序日志，即使我重新启动纱线。

   $ HADOOP_HOME / bin / yarn logs -applicationId application_1499949542308_0020

2. jobhistory服务器web ui一直是空的



1. 我在yarn-site.xml和mapred-site.xml中的日志设置

<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/home/hadoop/hadoop/nodemanager-logs</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
    <value>logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://hdp03.hp.sp.prd.bmsre.com:19888/jobhistory/logs</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:19888</value>
</property>

Answer 1

在数据节点上，您可以检查以下文件夹： $ {HADOOP_HOME} / logs / userlogs

您只需要转到与应用程序ID同名的文件夹。

Answer 2

是的，您可以从Web UI访问Yarn退役作业。

访问此网址http://<jobtracker>:50070以获取已退休的工作。

关于您的问题，您已重新启动纱线，这意味着，新的日志线程醒来并将上载日志上传到配置的位置。

但是在您的问题中，您的文件系统中是否存在'/ app-logs'/ app-logs路径。请检查。

保留期，日志必须存储在该路径中的时间长度，并且由名为​​ yarn.log-aggregation.retain-seconds <的属性名称定义strong>参数。

据我了解，默认情况下，http://<jobtracker>:50070提供的Job Tracker UI公开了所有当前正在运行和已停用的MapReduce作业的信息，而YARN有一个 JobHistory REST服务，可以公开详细信息完成申请。