将Kafka集群垂直扩展与水平扩展的注意事项？

Question

我们计划建立一个多TB的Kafka集群。 来自LinkedIn演示文稿，它们应该处理世界上最大的Kafka集群，看起来他们正在使用一些相当大的服务器。

我们计划采取另一种方式：推出许多处理几GB的小型Kafka经纪人。

使用Kafka垂直缩放与水平缩放的优缺点是什么？例如50TB，每个处理10TB的5个经纪人，或者每个处理10GB的5000个经纪人。

这些数字组成了。

ps：为我们维护5或5000台服务器具有相同的运营成本，因为它们都是自动化的。

Answer 1

我的建议是与5个每个10TB的代理一起使用，并带有3个冗余数据副本（RF3）。卡夫卡经纪人之间会产生大量的串扰/颤动，因此最好在出现问题时将网络开销以及运营乃至认知开销降至最低。

您提到运营成本对您来说都是一样的。以我的经验，这从未如此简单。设置时间，5000台不同机器的配置，网络流量等。即使是全部自动化，平均而言，5000台服务器也会遇到硬件问题，其速度是5台服务器的1000倍，因此，如果您希望1％的服务器能够每年失败一次，您将使经纪人几乎每周失败一次。拥有大型服务器并不能保证没有硬件故障，但是可能性较小。