我目前在RDBMS中有一个数据解决方案。服务器上的负载将增长10倍,我不相信它会扩展。
我相信我需要的是一个可以提供容错,可扩展且可以非常快速地检索数据的数据存储。
The Stats
Records: 200 million
Total Data Size (not including indexes): 381 GB
New records per day: 200,000
Queries per Sec: 5,000
Query Result: 1 - 2000 records
Requirements
Very fast reads
Scalable
Fault tolerant
Able to execute complex queries (conditions across many columns)
Range Queries
Distributed
Partition – Is this required for 381 GB of data?
Able to Reload from file
In-Memory (not sure)
Not Required
ACID - Transactions
数据存储的主要目的是非常快速地检索数据。将访问此数据的查询将具有跨越许多不同列(30列甚至更多列)的条件。我希望这是足够的信息。
我已经阅读过许多不同类型的数据存储,包括NoSQL,内存,分布式哈希,键值,信息检索库,文档存储,结构化存储,分布式数据库,表格等。然后有超过24种产品实现了这些数据库类型。这是很多要消化的东西,并找出哪种方法可以提供最佳解决方案。
最好是在Windows上运行该解决方案并与Microsoft .NET兼容。
根据上述信息,是否有任何建议和原因?
由于
答案 0 :(得分:1)
那么,你的问题是什么?我在这里看不到任何重要的事情。
快速缩放:抓住一个数据库(对不起,复杂的查询,列=数据库),并得到了一些不错的SAN - 惠普EVA是巨大的。我已经在数据库中看到它,每秒可以提供800mb的随机IO读取.....使用190张SAS光盘。对你来说足够快?对不起,但这是可扩展性。
无论如何,400gb的数据库大小都无法重新映射。
最后,请专业人士调整您的数据库服务器。那么简单。 SQL Server是一个复杂得多比“好了,我只知道如何选择应该是”正确使用(没有真正knmowing)。