如何使用mapreduce从具有RCFile存储格式的HDFS解析Map <string,string>?

时间:2019-01-04 12:01:30

标签: hive mapreduce hdfs

在配置单元中,有一列类型为Map<string,string>的列。我想使用mapreduce从hdfs解析地图的键值信息。功能图如下:

void map(LongWritable key, BytesRefArrayWritable value, Context context) {
    Text text = new Text();
    // this is the map column
    BytesRefWritable m  = value.get(1);
    text.set(m.getData(), m.getStart(), m.getLength())
    context.write(text, NullWritable.get())
}

然后我从输出文件中读取,发现键值解析如下: key1:value1key2:value2...
没有任何分隔符,我将无法解析键值对。
那么,如何从hdfs解析Map<string,string>

0 个答案:

没有答案