Zookeeper总体数据大小限制

Question

我是Zookeeper的新手，试图了解它是否适​​合我的用例。

我有1000万个分层数据，我想存储在Zookeeper中。

10M键值对，每个键的大小和值都是1KB。

因此，总数据大小约为20GB（10M * 2KB），无需复制。

我知道zNodes数据大小限制是1MB（可以更改）。

问题：

1. zookeeper是否能够支持20GB的数据，不会对性能产生影响。

2. 是否存在性能下降的最大尺寸？

3. 节点总数是否有限制？

Answer 1

Zookeeper将无法适用于此用例。 Zookeeper会定期对数据树进行转储/快照，这意味着它将每隔几分钟转储整个20 GB的数据。此外，集群/集合中的Zookeeper节点更像是彼此的副本，因此整个数据被复制到每个Zookeeper节点，因此也没有数据分区。 Zookeeper不是数据库。

我想对于你的用例，与一些数据库或一些分布式缓存（Redis / Hazelcast等）一起使用会好得多 无论如何，Zookeeper上的节点总数没有限制。