什么数据库,以及哪个安装程序可以处理每分钟数百万次插入?

时间:2013-08-16 06:04:48

标签: database nosql data-warehouse

我们已经达到了这样的程度:对于我们客户的系统很少,在高峰时段,事件是以疯狂的速度生成的。也就是说,每分钟有数百万个新事件(介于1M和2M之间)。

记录/文档大小平均为1.5Kb。

是否有可以处理这种激进写入速度的数据库(每秒16K-32K插入)?

有几个候选人,Cassandra,Hive,Hadoop,HBase,Riak以及其他一些人,但我愿意从别人的经验中了解,而不仅仅是引用每个db-system的网站自我推荐。

如果您在工作中处理了这样的负担,我们非常感谢您的建议。

1 个答案:

答案 0 :(得分:1)

Couchbase可以轻松处理写入速度。不知道你有什么预算(你会看到什么尺寸的机器),但获得三个m3.2xl可以很容易地做到80K / s,并且仍然有复制冗余和故障转移。当然,使用raid0多个ebs卷和预配置IOPS进行配置会让事情变得嗡嗡作响。

当然,如果我们得到更具体的内容,我会询问更多有关它的问题,例如需要读取权限的工作集中有多少,这有助于调整解决方案。