大数据存储（nosql与否）

Question

我需要存储大量科学数据（150 TB +起始数据），我想知道存储数据的最佳方式（nosql或RDBMS等...）

任何提示......

詹姆斯

Answer 1

回答这个问题，从NoSQL或RDBMS中选择：“我的数据是否按照关系构建？”

Answer 2

这实际上取决于您以后需要对数据执行的操作。如果数据是一些非常大的文件的集合，那么普通文件系统就可以了。如果您需要能够搜索和分析数据，那么数据库可能是最佳解决方案。

我正在科学环境中处理大型数据集。大部分数据都是表格式的，当我们开始时，我们存储的每个数据点都是一个表。我们发现最终将表格压缩并将其存储在数据库中的二进制blob中要容易得多。在另一个表中，我们存储了有关此表的元数据。

Answer 3

科学数据有特殊的数据库：http://www.dbms2.com/2009/09/12/xldb-scid/

Answer 4

是否必须是一种数据库类型？ NoSQL的一部分意味着一个尺寸不适合所有，所以为什么不是两个或更多NoSQL？一个列存储和一个图数据库怎么样？

Answer 5

您应该查看NetCDF和HDF5。另外，请考虑使用PyTables来访问和提取数据。