我有一个包含多个avro记录的文件。每条记录都包含一个唯一的“名称”。如何加载和存储文件,使每个文件代表与给定名称对应的记录?
这是我的avro架构:
{
"type": "records",
"name": "XXItem",
"namespace": "com.xxx.xxx",
"fields": [
{
"name": "data",
"type": {"type": "map", "values" : ["string", "long", "int"]}
}
]
}
答案 0 :(得分:0)
快速检查似乎表明avro只是使用JSON进行数据存储。 通过寻找一般处理JSON的解决方案,您应该能够找到适合您的东西。
这可能是一个起点:Hadoop for JSON files