用于大规模近似重复检测文档的最先进方法？

Question

据我了解，NLP中的科学共识是在大型科学文献集（超过10亿份文件）中进行近似重复检测的最有效方法是：

http://infolab.stanford.edu/~ullman/mmds/ch3.pdf

可以简要描述：

a）文件的乱七八糟 b）缩小以获得带状疱疹的最小签名 c）局部敏感散列，以避免对所有签名进行成对相似性计算，而只关注桶内的对。

我准备在Map-Reduce或Spark中实现这个算法，但是因为我是该领域的新手（我已经阅读了大约两周的大规模近似重复检测）并且上面发表了相当的几年前，我想知道上述算法是否存在已知的局限性以及是否存在更有效的不同方法（提供更具吸引力的性能/复杂性权衡）。

提前致谢！

Answer 1

关于第二步骤b），最近的发展显着加快了签名的计算：

• 2017年快速准确的快速混合的最佳致密化， https://arxiv.org/abs/1703.04664
• 快速相似素描，2017年，https://arxiv.org/abs/1704.04370
• SuperMinHash - 2017年Jaccard相似度估计的一种新的Minwise Hashing算法，https://arxiv.org/abs/1706.05698