如何查看执行hadoop作业时打印的内容

时间:2016-02-19 18:25:42

标签: hadoop hortonworks-data-platform

我在HortonWorks virtualbox中运行mapreduce作业。在方法Map()中,我使用System.out.println("xx")但我找不到印刷文字。

How to print on console during MapReduce job execution in hadoop我知道我可以找到登录jobtracker web控制台 但我不知道在哪里可以找到jobtracker web控制台。

我该怎么办?

2 个答案:

答案 0 :(得分:0)

该主题是4年前的话题。 JobTracker和TaskTracker(MRv1)已转换为Application Master和ResourceManager(MRv2:YARN)。您可以在http://localhost:8088/的ResourceManager web ui中查看您的工作状态。

输出(From Reporter或Println)通常会打印在HistoryServer的任务日志中,该日志可通过以下URL获取:http://localhost:19888/jobhistory/job/job_xxxxxxxxxx

PS:如果您使用旧版本的hadoop,您的输出将通过JobTracker web ui提供:http://localhost:50030/jobtracker.jsp(点击已完成的工作 - >点击地图或缩小任务 - >点击任务数字 - >任务日志 - >标准日志。)

答案 1 :(得分:0)

感谢Mobin回答我的问题,让我回答一下我的问题。 除了Mobin给出的解决方案之外,我还找到了另一种检查Hadoop作业日志的方法。 命令:yarn logs -applicationId {applicationId}可以显示保存在应用程序历史服务器中的hadoop作业日志,包括stderr,stdout和syslog。 System.out.println()语句打印的内容保存在stdout中。