如何获取Hadoop RunningJob的日志?

时间:2011-02-11 18:09:08

标签: hadoop

我使用JobClient在Hadoop集群上开始工作,这为我提供了RunningJob的句柄。是否有一种无痛的方法来获取该特定工作的日志输出?或者我是否必须编写一些代码来挖掘日志目录并根据作业ID匹配名称?

或者,有没有办法重定向每个作业的日志输出,还是全局配置Hadoop?

1 个答案:

答案 0 :(得分:0)

如果使用Java代码中的System.out.println编写所需的输出,则可以将作业的特定输出转到正在运行的作业的控制台,否则您必须在Hadoop日志中grep for JobID。

您还可以在作业http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-series-issue-3-counters-in-action/

中使用计数器