如何调试apache纱线中的作业失败

时间:2014-08-28 10:32:08

标签: ubuntu hadoop yarn

我有hadoop apache yarn(2.4.0)多节点集群,有2个数据节点和1个主节点。我的设置工作正常,但当我运行包中的hadoop字数计数示例。我的工作在14/08/28 15:44:13 INFO mapreduce.Job: Running job: job_1409220779657_0001停止 如何调试调试此问题...这背后的错误是什么... 注意:我使用下面的命令来运行单词计数示例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount /input /output

机器:Ubuntu服务器14.04

1 个答案:

答案 0 :(得分:0)

Hortonworks在YARN下的日志记录方面有很好的帖子:http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/

如果您在yarn-site.xml中将 yarn.log-aggregation-enable 设置为 true ,则可以通过运行以下命令检索应用程序的所有相关日志: / p>

yarn logs -applicationId <application ID>

(注意:应用程序ID将与作业ID匹配,因此您将使用application_1409220779657_0001)