如何存储一次写入，很少读取数据

Question

我有一个产生大量数据的应用程序，这些数据全部写入一次然后不可更改（依法），并且很少被读取。当它被读取时，它总是被完整读取，如同在2012年的所有数据一次读取，并且处理报告或输出以不同的格式导出（或 gasp 打印）。访问数据的唯一方法是访问一整天的数据，或者超过一天。

这些数据很容易表示为两个或三个关系表，或者作为一个很长的自包含文档列表。

在文件系统中存储此类数据的存储空间效率最高的方法是什么？具体来说，我们考虑使用Amazon S3（文件存储）进行存储，但我们可以使用类似RDS（他们的MySQL版本）的东西。

我目前最好的选择是一个带有JSON数据的gzip压缩文件，每天一个文件。

Answer 1

除非我的数据是纯ASCII（即使它是），我可能会选择像

之类的二进制存储方法

• BSON
• Protocol Buffers
• B encode

Answer 2

我会使用Windows Azure的Table Storage，因为它允许将异构结构化数据存储在单个表中。拥有类似数据库的存储将允许您根据需要附加数据。您可以轻松地为每年创建新表。