我们可以在mapreduce中使用log4j吗?

时间:2016-09-07 03:15:47

标签: hadoop mapreduce hadoop-streaming hadoop-partitioning

我们可以使用log4j登录mapreduce吗?如果是这样,请提供在map-reduce中使用log4j来记录信息的步骤。我写了下面的log4.properties,但没有记录任何内容。

1 个答案:

答案 0 :(得分:0)

这是在Mapper中配置Log4j的一种简单方法,仅用于

Standard practices for logging in MapReduce jobs

并且代码段在这里

import org.apache.log4j.Logger; //省略其他导入

公共类SampleMapper扩展Mapper {     private Logger logger = Logger.getLogger(SampleMapper.class);

@Override
protected void setup(Context context) {
    logger.info("Initializing NoSQL Connection.")
    try {
        // logic for connecting to NoSQL - ommitted
    } catch (Exception ex) {
        logger.error(ex.getMessage());
    }
}

@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    // mapper code ommitted
}

}

抱歉格式化。