为应用程序设计保存文件

Question

假设您有一个处理某些输入（范围为1到5 GB）的JAVA应用程序，并将输出（~100s MB）保存到仅附加环境（如HDFS）中的文件。

该文件的基本结构如下

• 一组值（大部分数据）
• 一组键
• 一些元数据

键和值与Map Reduce范例类似。

由于写入文件的数据量很大，因此最好在可能的情况下将文件块转储到磁盘。设计此类文件格式的好方法是什么，以便为以后的版本保持灵活性？我们如何在Java中维护文件格式的版本？

任何好的资源/链接也会有所帮助！我正在尝试了解使用上述约束创建自己的自定义文件格式的最佳做法。

谢谢！

Answer 1

你考虑过Apache Avro吗？

http://avro.apache.org/docs/1.3.0/index.html