是否有任何有效的方法来逐个节点(比线性散列或btree更好)?

时间:2010-10-13 19:44:34

标签: algorithm indexing hash linear b-tree

我正在寻找通过密钥存储和获取数据的有效算法。 我已经阅读过有关Litvin线性动态哈希和其他方法的内容,但我仍然想知道是否有一些方法可以在非常大的二进制文件中获取(搜索,计算)密钥(考虑超过100 gb)?

我只是好奇有没有任何算法可以在没有性能下降的情况下工作:)

正如所问,关键的一些例子:价值在这里:

key:sha1 hash(20字节原始数据 - 通过此键完成索引和检索)

value:bytes [100] always。

2 个答案:

答案 0 :(得分:0)

好吧,正如之前所说的100GB并不是那么多。也许关键:值的样本可以提供更好的线索。但话说回来,你可以看看这方面的一些优秀的开源实现。

  1. HBase - Google BigTable的开源实现。
  2. Cassandra - Facebook对此主题的看法。
  3. 这两种型号都是键值存储单元。所有其他功能,如多节点,分布式,容错等都是锦上添花。

答案 1 :(得分:0)

首先1)从键值创建B plus树(它将解决存储问题),然后2)使用从键创建的位图来加速搜索。