Question

我是Hadoop的新手。我一直在尝试运行着名的“WordCount”程序 - 它计算单词总数在使用Hadoop-0.20.2的文件列表中。我正在使用单节点集群。

Follwing是我的计划：

import java.io.File; import java.io.IOException; import java.util。*;

import org.apache.hadoop.fs.Path; import org.apache.hadoop.conf。; import org.apache.hadoop.io。; import org.apache.hadoop.mapreduce。*; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

公共类WordCount {

public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
} 

public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {

    public void reduce(Text key, Iterator<IntWritable> values, Context context) 
    throws IOException, InterruptedException {
        int sum = 0;
        while (values.hasNext()) {
            ++sum ;
        }
        context.write(key, new IntWritable(sum));
    }
}

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = new Job(conf, "wordcount");        
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));        
    job.setJarByClass(WordCount.class);
    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);
    job.setMapperClass(Map.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);       

    job.setReducerClass(Reduce.class);          
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);              
    job.setNumReduceTasks(5);        
    job.waitForCompletion(true);       

}

}

假设输入文件是A.txt，其中包含以下内容

A B C D A B C D

当我使用hadoop-0.20.2运行此程序时（为了清晰起见未显示命令），输出的是 1 一个1 B 1 B！ C 1 C 1 D！ D 1

这是错误的。实际输出应该是： A2 B 2 C 2 D 2

这个“WordCount”程序是非常标准的程序。我真的不确定这段代码有什么问题。我已正确编写了mapred-site.xml，core-site.xml等所有配置文件的内容。

如果有人可以帮助我，我将不胜感激。

感谢。

Answer 1

此代码实际上运行本地mapreduce作业。如果要将其提交到真实群集，则必须提供fs.default.name和mapred.job.tracker配置参数。这些密钥使用host：port对映射到您的计算机。就像你的mapred / core-site.xml一样确保您的数据在HDFS中可用，而不是在本地磁盘上，并且应减少您的减速器数量。这是每个减速器大约2个记录。您应该将其设置为1。

Answer 2

减少签名不正确。第二个参数是Iterable类型而不是Iterator

http://hadoop.apache.org/common/docs/r0.20.1/api/org/apache/hadoop/mapreduce/Reducer.html

另见Using Hadoop for the First Time, MapReduce Job does not run Reduce Phase

使用Hadoop0.20.2运行标准“WordCount”程序时输出不正确

2 个答案: