局部敏感哈希 - 找出R的概率和值

时间:2010-07-16 16:51:28

标签: python nearest-neighbor

感谢那些已经回答了我之前的问题并让我走到这一步的人。

我有一个约25,000个向量的表,每个向量有48个维度,值范围为0-255。

我正在尝试开发一种局部敏感哈希(http://en.wikipedia.org/wiki/Locality-sensitive_hashing)算法,用于查找近邻或最近邻点。

我目前的LSH功能是:

def lsh(vector, r = 1.0, a = None, b = None):
    if not a:
        a = [normalvariate(10, 4) for i in range(48)]
    if not b:
        b = uniform(0, r)
    hashVal = floor((sum([a[i]*vector[i] for i in range(48)]) + b)/r)
    return int(hashVal)

我现在的问题是:

A:我的代码的“normalvariate(10,4)”部分是否有最佳值?这是使用random.normalvariate(http://docs.python.org/library/random.html#random.normalvariate)函数构建的pythons,我用它来生成“d维向量,其中条目独立于稳定分布选择”。从我的实验来看,价值似乎并不重要。

B:在维基百科文章的顶部,它指出:

  

如果d(p,q)< = R,则h(p)= h(q),概率至少为P1

     

如果d(p,q)> = cR,那么h(p)= h(q)概率最多为P2

此处提到的R值是否也是稳定分布部分中提到的R值。 (http://en.wikipedia.org/wiki/Locality-sensitive_hashing#Stable_distributions

C:与我之前的问题(B)相关。我发现在我的哈希函数中使用更高的R值将我的向量映射到更小范围的哈希值。有没有办法优化我的R值。

D:大约可以使用多少个表?

2 个答案:

答案 0 :(得分:2)

对那些感兴趣的人。我找到了这个文档(http://web.mit.edu/andoni/www/papers/cSquared.pdf,它有一个非常详细的,尽管很复杂的解释,说明如何将LSH用于高维空间。

答案 1 :(得分:2)

您可能需要查看“MetaOptimize” - 例如用于机器学习的Stack Overflow http://metaoptimize.com/qa

您的问题实际上不是一个python或编程问题,该社区可能会提供更多帮助。