用于大量或非规范化记录的存储解决方案

Question

我们目前有一个MSSQL服务器，其数据以非规范化格式存储在单个表中（每个记录类型），在某些情况下，可能有数百万行包含许多列。应用程序的要求是读取应用程序中每条记录的数据，即每个匹配的行必须由应用程序发送和读取（使用C＃DataReader方法），因此实际数据不能在SQL服务器中进行聚合需要。

在大多数情况下，查询在Date字段（表示整数）和两个或三个文本列上非常简单。

根据要求，你们认为SQL服务器是否合适，或者是否存在其他数据存储：NoSQL解决方案可能更好/更容易使用。

我们的一些系统包含这种格式的数百GB数据，导入时只读数据，即数据永远不会更新。

现在我们遇到的瓶颈似乎是返回大量结果时的磁盘IO性能，而且由于大小，所以无法随时缓存所有内容。

有关我们应该研究的不同存储解决方案的任何提示。

提前致谢。

Answer 1

SQL Server非常合适，当您拥有大量数据时，它会回来。数百GB是一个笑话 - 这是2014年，而不是1990年。

  

我们现在的瓶颈似乎是磁盘IO性能

什么光盘？

在这种情况下使用所有SSD设置至少是标准的5年。我个人拥有一个3000gb的分析数据库，从底层SSD中提取超过1gb /秒。

很明显，您需要适合您要求的硬件。