我是kafka的初学者
我们正在寻找调整我们的kafka集群（5节点集群）的大小，以处理17,000个事件/秒，每个事件的大小为600字节。 我们计划复制3并保留一周的事件
我在kafka文档页面中读到了
assuming you want to be able to buffer for 30 seconds and
compute your memory need as write_throughput*30.
那么整篇文章是什么？如果它是每秒MB的数量 - 我看9960MB /秒
if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )
那么292GB代表一个节点或整个集群（5个节点）的内存需求是什么
我真的很感激有关内存和磁盘大小的一些见解。
此致 VB
答案 0 :(得分：11)
如果您的消息大小是600字节，17k msg / s，那么您的吞吐量将是~10MB / s [17000 * 600 /（1024 * 1024）]。如果您正在对主题进行分区并使用5个代理，每个代理有3个副本，即10/5 * 3 = 6MB / s，则需要缓冲，这在任何普通硬件上都不应该是问题。缓冲30秒意味着180MB的内存。
如果您的邮件大小为600kB，那么您需要考虑添加大量非常快的存储空间以达到6GB / s，实际上最好增加群集的节点数量