Kafka最小（生产）设置

Question

我们计划在我们的产品中使用Apache Kafka，因为它似乎能够很好地处理水平缩放和减震 - 而我们的云环境需要这些功能。

但我们还计划将我们的产品部署到环境中，其中RAM消耗是优先考虑的因素。但是，这些环境不需要大吞吐量。让我们说1MB / s，更大的部署速度为5MB / s。消息将相当小，每个1kB。

我们不需要HA来进行这些部署，也不需要任何完美的性能。我们只需要它保持稳定，24小时保留（我们在合理的磁盘上有足够的空间）。

在这些条件下使用1GB RAM运行Kafka是否可行？ （甚至更少）。如果没有，最小的设置是什么？

Answer 1

以防万一有人也对这个问题感兴趣。我们测试了Xmx = 1GB的单节点Kafka，摄取了twitter流API（每秒约50条消息，每条5-10kB）。

我们还试图阻止kafka消费者一段时间，因此当它再次启动时会有很多消息。而且我们在卡夫卡这边每秒发出2500条消息。

使用的机器：来自AWS的2x t2.medium - 一个用于摄取和经纪，一个用于消费者。