高性能大文本存储解决方案

时间:2013-10-09 20:49:05

标签: sql-server database nosql storage large-text

以下是该方案:

1)当前所有数据都存储在SQL Server

2)有一个表X存储最重要且访问量最大的数据

3)表X中的每条记录都有一列Y,最多可存储2GB的文本

4)记录数量增长(> 1000万且不断增长)

5)每行最多2GB文本的Y列大约占表X空间的90%

问题:数据库变得无法管理,我们需要在其他地方存储来自列Y的数据(在SQL Server之外)

问题:

存储大型文字的最佳解决方案是什么?

我正在寻找最少开销的解决方案:

  • 快速阅读
  • 快速写道
  • 可扩展
  • 可以很好地处理并发性

我不关心全文索引或任何额外开销。只是简单的存储和访问。

PS

到目前为止我有一些想法:

  • 非常简单的NOSQL数据库
  • 基于平面文件的数据库
  • 我可以使用某些库从头开始编写的自定义解决方案

1 个答案:

答案 0 :(得分:2)

从我读到的关于NoSQL技术的内容来看,Riak可能非常适合,但是,这肯定会带来开销。平面文件听起来很有前景,但依赖于高度操作系统和补丁 - 您不希望被困在向客户解释Windows更新导致性能问题。