HDP 2.3沙箱mapreduce日志

Question

我的mapreduce程序中有System.out.printlns; MR运行成功，但我无法在任何地方看到日志。 我尝试使用"yarn log -applicationId ..."，但我仍然无法查看我的日志。

启用日志是否需要任何特殊设置？如果没有，日志文件位置是什么？

Answer 1

端口8088显示群集上的所有MR作业。单击MR作业，然后单击跟踪历史记录。

Answer 2

如果您已配置日志聚合，那么您将在HDFS上的/tmp/logs中找到您的日志。此hdfs目录使用属性yarn.nodemanager.remote-app-log-dir设置（默认为/ tmp / logs）。

因此，您应该能够使用以下命令在namenode上查看用户的应用程序日志目录：

hdfs dfs -ls /tmp/logs

Answer 3

当您在前几行中运行作业时，它将为您提供跟踪作业的链接。您可以在浏览器中粘贴该链接，并浏览任务级别日志以查看详细信息。

在map reduce中使用System.out.println并不是一种好习惯。