Hadoop在哪里存储YARN应用程序的日志？

Question

我运行Hortonworks'yarn application example的基本示例。应用程序失败，我想阅读日志以找出原因。但是我找不到存储mapreduce作业日志的预期位置（/HADOOP_INSTALL_FOLDER/logs）的任何文件。

有人知道yarn存储非mapreduce日志文件的位置吗？我是否必须在xml文件中配置特殊目录？

Answer 1

容器日志应位于yarn.nodemanager.log-dirs：

下

  

存储容器日志的位置。应用程序的本地化日志目录将在${yarn.nodemanager.log-dirs}/application_${appid}中找到。单个容器的日志目录将位于此下面的名为container_{$contid}的目录中。每个容器目录将包含由该容器生成的文件stderr，stdin和syslog。

Answer 2

日志聚合已在YARN中实现，因此与Hadoop 1相比，日志文件位置会有所不同。

您可以通过两种方式获取应用程序的日志：WebUi和命令行访问。

请仔细阅读下面的文档，该文档为您提供有关YARN上此日志聚合实现的非常明确的信息。

http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/

感谢博客作者Vinod Kumar Vavilapalli。