多种存储与avro?

时间:2015-04-08 21:10:36

标签: apache-pig avro

我有一个包含多个avro记录的文件。每条记录都包含一个唯一的“名称”。如何加载和存储文件,使每个文件代表与给定名称对应的记录?

这是我的avro架构:

{
    "type": "records",
    "name": "XXItem",
    "namespace": "com.xxx.xxx",
    "fields": [
        {
            "name": "data",
            "type":  {"type": "map", "values" : ["string", "long", "int"]}
        }
    ]
}

1 个答案:

答案 0 :(得分:0)

快速检查似乎表明avro只是使用JSON进行数据存储。 通过寻找一般处理JSON的解决方案,您应该能够找到适合您的东西。

这可能是一个起点:Hadoop for JSON files