缩放数百万条记录的数据库

时间:2012-01-28 04:44:38

标签: database nosql scalability

我们正在开发一个应用程序,每次处理一些代码并输出大量行(数百万!)。我们希望将这些行保存在数据库中,因为处理本身需要几个小时才能完成。

1。保存这些记录的最佳方法是什么?

2。是否可以使用NoSql解决方案?

假设我们每天节省500万条记录,并且偶尔可以从中检索。

2 个答案:

答案 0 :(得分:2)

这在很大程度上取决于您在生成数据后如何使用数据。如果您只是通过主键查找,那么NoSQL可能会没问题,但如果您想要搜索或排序数据(或将行连接在一起),那么SQL数据库可能会更好地工作。

基本上,NoSQL非常擅长将不透明数据填充到商店并快速检索任何单个项目。关系数据库非常擅长索引可以连接在一起或搜索的数据。

任何现代SQL数据库每天都可轻松处理500万行 - 磁盘空间更可能成为您的瓶颈,具体取决于行的大小。我没有用NoSQL做过很多,但如果每天有500万件物品会引起问题,我会感到惊讶。

答案 1 :(得分:1)

这取决于您想要存储的数据类型 - 您能详细说明吗?如果数据整齐地组织到表中,那么您不一定需要NoSQL方法。但是,如果您的数据具有图形或网络结构,那么您应该考虑使用NoSQL解决方案。如果后者适合您,那么以下内容可能会对您提供一些NoSQL数据库的概述:http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis