是否有任何apache风暴群集大小限制？

Question

我认为在风暴群集中拥有更多节点会增加＆＃34; keep-topology-alive＆＃34;群内通信。

鉴于拓扑可以很好地处理10个节点（2或4个CPU，4GB RAM）用于小数据，我们可以将拓扑扩展到1,000或10,000个节点，并且仍然可以（非常）大数据竞争吗？有没有已知的实际限制？

由于

Answer 1

Storm集群的扩展受Zookeeper中状态存储速度的限制，其中大多数是来自工作者的“心跳”。理论上的限制是或多或少1,200个节点（取决于磁盘速度，这里考虑80MB / s的写入速度）。显然，使用更快的硬盘将使事情扩展更多。

然而，雅虎的人们正致力于内存商店​​的工作心跳。他们的解决方案将使用GigabitE连接将限制增加到大约6,250个节点。 10千兆位连接将理论上的限制增加到62,500个节点。您可以查看Bobby Evans的2015年Hadoop峰会presentation了解更多详情。