Question

我有一个小项目，我有一个带有2个制表符分隔文本列的文件。我希望我的映射器从文件中读取它们并将第二列设置为键，将第一列设置为reducer的值，但我似乎无法完成它。然后，我想将（键，值）对传递给reducer，它将为每个键创建所有值的列表。

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text site = new Text();
    private Text tag = new Text();

    public void map(Object key, Text value, Context context) 
                        throws IOException, InterruptedException {

        StringTokenizer itr = new StringTokenizer(value.toString(), "\t");
        while (itr.hasMoreTokens()) {
            site.set(itr.nextToken());
            tag.set(itr.nextToken());
            context.write(tag, site);
        }
    }
}

我在conext.write行收到错误。我该如何解决这个问题？

Answer 1

您在context.write(tag, site);中撰写的值（网站）是Text对象，但您有Mapper<Object, Text, Text, IntWritable>。您应该将其更改为Mapper<Object, Text, Text, Text>。

在您告诉它的那一刻，您将输出IntWritable作为值。

您也可以删除private final static IntWritable one = new IntWritable(1);，因为它没有被使用。

Mapreduce mapper将键和值都作为文本字段传递

1 个答案: