Question

HDFS新手：

如果我错了，请纠正我，但据我所知：

Mapper<Object, Text, Text, Text>

最后两个Text是Mapper的返回类型。说我想要返回Text, <Text, IntWriteable>。我怎么能实现这个目标？另外，我应该在文档中的哪个位置？

例如，在mapper收到Object和Text之后，它会对输入文件中的数据行做一些逻辑，我希望它返回类似

的内容

context.write(Text,[Text, IntWriteable])

Answer 1

你必须在hadoop中实现自定义可写。我指的是一些网站，可能会有所帮助

https://halalhassan.wordpress.com/2013/12/15/custom-writables-in-hadoop-the-right-way/ http://www.hadoopmaterial.com/2013/10/custom-hadoop-writable-data-type.html

Answer 2

您可能需要定义自己的数据类型。如果需要比较操作，请实现WritableComparable接口，否则只需实现Writable接口即可。

以下是使用WritableComparable界面的示例：

public class MyDataType implements WritableComparable<MyDataType> {
    private Text name;
    private IntWritable age;

    @Override
    public void readFields(DataInput in) throws IOException {
        name.readFields(in);
        age.readFields(in);
    }

    @Override
    public void write(DataOutput out) throws IOException {
        name.write(out);
        age.write(out);
    }

    @Override
    public int compareTo(MyDataType o) {
        int nameCompare = name.compareTo(o.name);
        if(nameCompare != 0) {
            return nameCompare;
        } else {
            return age.compareTo(o.age);
        }
    }
}

Hadoop自定义Mapper输出格式为Reducer

2 个答案: