Hbase读取高负载

Question

我正在为我们公司的需求研究noSQL解决方案。 目前，搜索范围缩小为hBase。我已经阅读了很多关于架构，性能等方面的内容，但有一件事仍然是我发现的。

例如，如果您有100个节点群集，并且一行获得100,000个并发请求。在这种情况下，所有100.000个请求只会命中一个存储行的节点？据我所知，HBase复制仅用于数据备份（不用于读取负载平衡），并且没有任何主/从机制（如在MySQL中）？

Answer 1

我认为100,000个并发请求在HBase上不能很好地工作，但真实世界的场景看起来效果很好 yfrog get 10K request per second和eBay chose it for the new version of their product search engine以及Facebook for their messaging system 您还可以在更适度的群集上查看hstack benchmarks

Answer 2

HBase复制不仅适用于数据备份，也适用于可用性。因为这似乎不是你在这里提出问题的唯一一点，我指出了你可以找到更多信息的链接。如果您对架构设计有特定问题，首先应该从Apache托管项目的主页开始。对于关于主/从的最后一个问号，我发送的URL仍然适用（如果您不确定，可以询问HBase开发人员）：http://hbase.apache.org/replication.html

Answer 3

关于单行的100,000个并发请求 - 我认为目前没有人对此有好处。在正常情况下，根本不需要 - 客户端无论如何都与DB隔离，因此在这种情况下访问受限（并且可能已缓存）。

关于存储和复制。首先，至少有两种类型的复制，实际上它不是HBase。 HBase依赖于HDFS，它本质上是容错的。如果您需要了解详细信息，请阅读HBase master和HBase region server角色，但一般而言，与复制相关的所有内容都会转到HDFS。