我们正在使用kafka流来消费数据。我们有一个4个代理集群和一个具有64个分区的主题。
我们每天收到大约4百万条消息,每个味精大约2kb。
我们注意到,我们的消费者经常没有空间。我们已经为消费者分配了20gb的空间。
在阅读数据库时,我发现压缩时需要压缩文件大小的两倍空间。例如,如果文件大小为5gb,则总共需要10gb的可用空间来压缩。
在大多数情况下,该空间约为4 5 gb,但有时它突然耗尽了磁盘空间。
我们是否应该寻找任何指针或配置来进行调整?
我应该如何验证我的Rocks数据库配置是否最佳?
如何检查压实是否正确?