Hadoop Map / Reduce Mapper'map'方法和日志

Question

我最近被要求研究加速mapreduce项目。 我正在尝试查看在实现以下类的'map'方法中生成的log4j日志信息：org.apache.hadoop.mapred.Mapper

在此课程中，有以下方法：

@Override
public void configure( .. ) { .. }

public static void doCompileAndAdd( .. ) { .. }

public void map( .. ) { .. }

日志信息可用于configure方法和doCompileAndAdd方法（从configure方法调用）;但是，“map”方法没有显示日志信息。

我也试过在map方法中使用System.out.println( .. )但没有成功。

是否有人可以帮助阐明这个问题？

谢谢， Telax

Answer 1

由于映射器类实际上在分布在集群中的节点上的任务中运行，因此来自这些任务的标准输出显示在每个任务的各个日志中。查看这些日志的最简单方法是转到群集的作业跟踪器页面，通常是http://namenode:50030/jobtracker.jsp。从那里，您可以选择作业，然后选择您对日志感兴趣的地图任务。