卡夫卡(Kafka)摇滚数据库没有磁盘空间问题

时间:2019-09-24 14:43:13

标签: apache-kafka rocksdb

我们正在使用kafka流来消费数据。我们有一个4个代理集群和一个具有64个分区的主题。

我们每天收到大约4百万条消息,每个味精大约2kb。

我们注意到,我们的消费者经常没有空间。我们已经为消费者分配了20gb的空间。

在阅读数据库时,我发现压缩时需要压缩文件大小的两倍空间。例如,如果文件大小为5gb,则总共需要10gb的可用空间来压缩。

在大多数情况下,该空间约为4 5 gb,但有时它突然耗尽了磁盘空间。

我们是否应该寻找任何指针或配置来进行调整?

我应该如何验证我的Rocks数据库配置是否最佳?

如何检查压实是否正确?

0 个答案:

没有答案