我使用JobClient
在Hadoop集群上开始工作,这为我提供了RunningJob
的句柄。是否有一种无痛的方法来获取该特定工作的日志输出?或者我是否必须编写一些代码来挖掘日志目录并根据作业ID匹配名称?
或者,有没有办法重定向每个作业的日志输出,还是全局配置Hadoop?
答案 0 :(得分:0)
如果使用Java代码中的System.out.println编写所需的输出,则可以将作业的特定输出转到正在运行的作业的控制台,否则您必须在Hadoop日志中grep for JobID。
您还可以在作业http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-series-issue-3-counters-in-action/
中使用计数器