将Couchbase用于大型数据集

Question

我正在为我的项目评估NoSQL数据库。以下是要求。

1. 我们将在群集中的不同节点上分布大约600 GB的大型数据集。
2. 我们每秒需要大约1k次读取操作。
3. 我们正在寻找高可用，容错，自我修复的解决方案。

我在Cassandra和Couchbase中归零，然后根据以下因素选择Couchbase：

1. Couchbase读取性能优于Cassandra。
2. Couchbase中的群集管理更好。

我的问题是，Couchbase能够处理庞大的数据集吗？我无法在网上找到很多相关信息。

Answer 1

首先，600 GB曾经被认为是一个巨大的数据集，但现在不再是。

我处理的电信数据（呼叫详细记录）每月大约有120亿条记录。使用node.js程序作为后端对我的新忠诚度计划的数据进行一些严肃的操作我能够在我的2013 MacBook Pro上运行它（虽然Couchbase只占其中的一小部分/ 16GB但是16 GB ）每秒1000-1200次呼叫。

这意味着在1000-1200之间到达node.js程序，导致更多的读取＆amp;写入Couchbase数据库（版本2.x仍然是BTW）。在两者之间有一段时间Couchbase服务器下降到零交易，因为我从同一MBP提供数据并将其推送到我的应用程序比Couchbase＆amp; Node.js可以运行。

所以没有必要在你想要的设置的许多节点上运行它，并且Couchbase的线性方式超出了NoSQL的其他功能。他们有两篇白皮书，显示MongoDB和Cassandra每秒8k（MongoDB）和12k（Cassandra）交易耗尽，而Couchbase继续强劲。

Altoros Systems称为“交互式应用的基准测试Couchbase服务器”的节目显示了Cassandra从2ms（1k读取）开始的吞吐量读取（延迟），从7k读取到10k读取达到4ms并结束12k读数，读数为6ms。

另一方面，Couchbase低于1ms直到16k读取，然后才显示减速，在20k读取时达到1.5ms，在图表结束时在21k处达到2.5ms。

与Cassandra或Couchbase相比，MongoDB在这个对比中甚至不是同一个联盟。您可以在白皮书中找到有关测试设置的所有详细信息。

另一份白皮书名为“将Couchbase Server 3.0.2与MongoDB 3.0进行比较：基准结果和分析”，来自Avalon Consulting LLC。它是最新的并且比较了当时最新的版本（特别是新的MongoDB版本）。

引用它：“Couchbase Server提供比具有相同数量的并发客户端的MongoDB好4倍的读取延迟 - 245.与吞吐量一样，并发性很重要。随着并发客户端数量的增加，MongoDB延迟增加了50％以上但是，Couchbase Server的延迟增加了很小的利润 - 只有10％。“

如果你在网上找不到我，请告诉我，我可以通过电子邮件发送两份白皮书给你。我已经将它作为我的决策过程的一部分进行了研究，其中NoSQL解决方案对我的用例来说是正确的。

免责声明：我不隶属于上述任何公司，我只是一名用户。

Answer 2

当然，Couchbase会将其数据存储在称为存储桶的数据中。

根据：http://docs.couchbase.com/admin/admin/Misc/limits.html 最大桶大小是无限的

有关您的数据是否超出分配给存储分区的内存的问题。是的，它可以。