用于高吞吐量插入的NoSQL技术

时间:2012-03-27 20:12:26

标签: database nosql

出于无sql技术,哪一种更适合高吞吐量插入?我相信这也取决于硬件,但我们假设我使用具有固定步骤的亚马逊集群计算节点,并且理想情况下需要最少数量的节点。我需要一个存储系统,而不是可以提供20GB / min的插入,我的数据是完全结构化的,每行大约是110字节。 理论上,我可以无限制地增加我的硬件以实现这一目标,但我想知道哪种技术更适合这种高吞吐量插入?

2 个答案:

答案 0 :(得分:1)

您希望查看完全分布式数据源,如HBase,Cassandra,MongoDB等。假设您有足够的分片,分片的MySQL或其他关系数据库也可以工作。总而言之,您可能不希望仅根据这一标准做出决定。

答案 1 :(得分:0)

大声思考

  • 简单来说=> “20GB / min”是“350MB / s”,所以它确实需要10Gbit网卡,以防它通过网络,以及大量缓存,因此RAM。

  • 鉴于费率和(小)消息大小,您可能不希望处理GC,尽管支付解决方案(例如Azul)可能能够维持它。

  • 理想情况下需要最少数量的节点”=>这意味着传统的水平扩展NoSQL已经出局,除非100多个节点可被视为“最少”

  • 是否需要NoSQL?手头的实际问题是什么?这是一个批处理作业(可接受的高延迟)吗?它是市场饲料(例如某些时间的峰值)吗?这是一个学校项目吗?

  • 由于您考虑使用亚马逊,并且想要做NoSQL,因此DynamoDB值得尝试,因为它“保证”所需的吞吐量