Apache Zookeeper如何在分片中使用？

Question

我们正在考虑集中cfg信息，看起来像zookeeper是一个不错的选择。我们也对分片感兴趣并制定计划。在powersBy [1]中看到Rackspace和Yahoo正在使用Zookeeper进行分片。非常感谢指针和细节。

[1] https://cwiki.apache.org/confluence/display/ZOOKEEPER/PoweredBy

Answer 1

Solr将使用Zookeeper进行分片。 ZooKeeper Integeration设计文档对您来说可能很有趣。

Answer 2

我可以想到他们可以引用的两件事。

1. 他们可以使用内置的整体功能进行引用。使用这些，您可以实际为您的服务设置组管理协议。当您向整体添加更多服务器时，您可以有效地将池分成更多数字。整体成员之间的数据在成员服务器之间同步。这对于将相同数据集分成多个读取池的应用程序尤其有用 - 例如索引服务器，搜索服务器，读取缓存等等。

2. 他们可能正在使用ZooKeeper进行配置管理。我们现在假设您的应用程序可能有数千个客户端，他们都需要同时更新其配置文件。假设您的应用程序现在访问50个服务器的数据存储层 - 但该池需要分片到200个。您可以设置从属关系以执行1到4个从属关系。然后可以使用ZooKeeper更新该配置文件，实质上会在每秒内更改每个配置文件。

Answer 3

您还应该看看HBase如何使用Zookeeper;专门维护有关地区的信息。这类似于使用ZK来维护DB分片信息。