可以使用附加信息扩展avro json吗？

Question

avro格式在hadoop中用作标题来描述后面的二进制文件的内容。我的问题是avro文件的json部分是否可以扩展为包含hadoop不需要的信息？典型的用例是将元数据（如文件的创建者）和日期附加到文件中，而不需要将数据作为文件的一部分。

Answer 1

是。 Avro文件可以使用json架构中的附加信息或使用特定的附加名称：值对进行注释。此外，我们已经能够使用Pentaho和Google Big Query阅读这些avro文件。需要注意的是，在导入过程中会丢弃模式和名称：值对。因此，如果您觉得以后需要它们，则应提取并存储它们的本地副本。