Question

如何从Hadoop Mapper（或Combiner / Reducer /等）中记录消息，以便稍后在Hadoop日志中找到这些自定义消息？

public class GfimlMapper extends Mapper<Object, Text, Text, RawTerm>
{
    public void map(Object key, Text value, final Context context
                    ) throws IOException, InterruptedException {
...
        Logger.log("HELLO THERE!"); // ???
...
    }
}

Answer 1

如果您转到群集的作业跟踪器，然后转到各个作业，您应该获得已执行的任务列表（映射和缩减），然后右侧应该有一个链接以查看该任务的日志。然后，您可以在那里看到stdout，syserr和syslogs。查看标准输出（并非所有输出都有输出，但根据我的经验，至少有一个输出...）

祝你好运！

如何从Hadoop记录消息？

1 个答案: