我可以减少缓存的空间吗？

Question

我是GridGain的新手，我的缓存堆大小有问题。

我有一个带有2.000.000~3.000.000行的CSV文件，文件大小为600~800兆字节，但是当我将这些数据加载到GridGain上的缓存中时，我需要5~7千兆字节。我可以减少缓存中的数据大小吗？或者我需要5~7千兆字节来保存600兆字节的文件？

Answer 1

以下是可能影响内存消耗的事情：

1. 配置的备份数量。例如，如果配置了1个备份，则会使群集上所需的内存量翻倍。
2. 索引 - 如果要为数据创建索引，索引确实需要额外的空间。
3. 如果对象以序列化和反序列化的形式存储，则需要额外的空间。

我认为一个好的测试是将相同的数据加载到ConcurrentHashMap中，并查看需要多少内存。我想说，在像GridGain这样的分布式事务缓存中，版本控制，锁定等占用了空间。因此，分布式缓存所需的内存量应该是简单的ConcurrentHashMap所需空间的2倍或3倍。