标签: algorithm indexing hash linear b-tree
我正在寻找通过密钥存储和获取数据的有效算法。 我已经阅读过有关Litvin线性动态哈希和其他方法的内容,但我仍然想知道是否有一些方法可以在非常大的二进制文件中获取(搜索,计算)密钥(考虑超过100 gb)?
我只是好奇有没有任何算法可以在没有性能下降的情况下工作:)
正如所问,关键的一些例子:价值在这里:
key:sha1 hash(20字节原始数据 - 通过此键完成索引和检索)
value:bytes [100] always。
答案 0 :(得分:0)
好吧,正如之前所说的100GB并不是那么多。也许关键:值的样本可以提供更好的线索。但话说回来,你可以看看这方面的一些优秀的开源实现。
这两种型号都是键值存储单元。所有其他功能,如多节点,分布式,容错等都是锦上添花。
答案 1 :(得分:0)
首先1)从键值创建B plus树(它将解决存储问题),然后2)使用从键创建的位图来加速搜索。