我正在开始一款能够处理大型数据集的新软件,即数TB的数据。
我已经看到Rocksdb允许存储大型数据集,但我不确定它是不是核心功能?我的意思是,如果数据集大于计算机RAM,它会处理吗?
此外,如果没有交换,是否有一些关于使用这种内存数据存储的性能影响研究? 感谢
答案 0 :(得分:1)
RocksDB对于超出RAM大小的数据集没有任何困难。但是,您几乎必须使用Bloom过滤器来保持性能,并且它们会占用RAM。因此,随着数据库的增长,您将看到一些线性内存增长。但它远不及1比1,更像是1/50左右。