为了加快报告速度,我正在寻找一种将数据快速存储到简单的键/值存储中的方法。有数百万个唯一密钥,每个密钥可以有数百万个孩子,例如:
key1: [a, b, c, d, e, f, g, ...]
key2: [a, x, y, z]
键和单个值都是字符串;值应该是唯一字符串的集合(即一组)。强调写入量大,读取频率低。问题是,数据集的大小是几百GB。我最初对Redis感兴趣,但虚拟内存(在磁盘上存储值的能力)被弃用的事实意味着它对此没有用。
我应该关注哪种数据存储?许多KV商店对其值的大小有限制,其他商店的内存效率较低,并且会导致内存大小膨胀。无法操纵值到位也是有限的,因为它需要读取大量数据,然后再次写入。
我的问题是:我应该关注一个特定的数据存储子集吗?我试图做的是可行的吗?或者根本没有办法实时有效地做到这一点?