Question

我正在使用MapReduce解决WordsCount问题。我曾经使用过刘易斯·卡罗尔（Lewis Carroll）着名的《透过玻璃》的txt文件它的文件很大。我运行了MapReduce代码，它的运行正常。现在我需要找出除“ the”，“ am”，“ is”和“ are”之外的前10个最常用的单词。我不知道该如何处理。

这是我的代码

public class WordCount {

public static class TokenizerMapper
        extends Mapper<Object, Text, Text, IntWritable>{

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context
    ) throws IOException, InterruptedException {
        StringTokenizer itr = new StringTokenizer(value.toString().replaceAll("[^a-zA-Z0-9]", " ").trim().toLowerCase());
        while (itr.hasMoreTokens()) {
            word.set(itr.nextToken());
            context.write(word, one);
        }
    }
}

public static class IntSumReducer
        extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
    ) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }

        result.set(sum);
        context.write(key, new IntWritable(sum));

    }
}


public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
   /* job.setSortComparatorClass(Text.Comparator.class);*/
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}

Answer 1

^{我个人不会编写代码，直到我看到您的尝试比Wordcount花费更多的努力。}

您需要第二个映射器和缩减器来执行Top N操作。如果您使用了Pig，Hive，Spark等高级语言，那就可以了。

对于初学者来说，您至少可以过滤掉itr.nextToken()中的单词，以防止第一个映射器看到它们。

然后，在化简器中，您的输出将不排序，但您已经将所有单词的总和获取到某个输出目录中，这是获取顶部单词的必要的第一步。

要解决此问题，您需要创建一个新的Job对象，以读取第一个输出目录，写入一个 new 输出目录，并针对每一行文本在映射器中，生成null, line作为输出（使用NullWritable和Text）。

这样，在化简器中，所有文本行都将发送到一个化简器迭代器中，因此，为了获得前N个项，您可以创建一个TreeMap<Integer, String>以按计数对单词进行排序（请参考{ {3}}）。插入元素时，较大的值将自动推入树的顶部。您也可以选择通过跟踪树中的最小元素，并且仅插入大于它的元素来优化此效果，和/或跟踪树的大小并且仅插入大于第N个元素的元素（如果您可能拥有数百个成千上万的单词）。

在将所有元素添加到树的循环之后，获取所有前N个字符串值及其计数（树已为您排序），然后将它们从reducer中写出。这样，您就应该得到前N个项目了。

查找Hadoop MapReduce中除“ the”，“ am”，“ is”和“ are”之外的前10个最常见的单词？

1 个答案: