Question

我创建了一个mapreduce代码来分析一些文件。但有些文件是从Hive创建的，它们是ORC类型。

它可以像Texfile一样分析这个ORC文件吗？ mapreduce的输出是Text类型吗？

TKS

Answer 1

你需要的是InputFormat OrcNewInputFormat或OrcInputFormat。

job.setInputFormatClass(OrcNewInputFormat.class);

然后你需要一个Typestruct，它描述你的表的模式（很可能在你的映射器中）

private final String ts = "struct<" +
        "recordId:bigint," +
        "name:string," +
        "language:string>";   

private final StructTypeInfo ti = (StructTypeInfo) TypeInfoUtils.getTypeInfoFromTypeString(ts);

您可以像这样获取类型信息和列名

List<TypeInfo> type_lst = ti.getAllStructFieldTypeInfos();
List<String> field_lst = ti.getAllStructFieldNames();

接下来，您需要一个StructObjectInspector来访问ORC文件的字段

    StructObjectInspector soi;
    Properties properties = new Properties();

    properties.setProperty("columns.typtes", ts);
    serde.initialize(context.getConfiguration(), properties);

    try {
        obj = serde.deserialize(value);
        soi = (StructObjectInspector)serde.getObjectInspector();
        value_lst = soi.getStructFieldsDataAsList(obj);
    } catch (SerDeException e) {
        e.printStackTrace();
    }

现在您可以像这样访问文件的字段

        rowId = value_lst.get(0).toString();

用于读取ORC文件的Mapreduce示例

1 个答案: