Question

我需要一个匹配单词的文库，给定一个阈值，拼写错误或另一个的leetspeak变体，例如Antoine匹配：

4ntoine
4toine
antoine
4t01n3
titoine
entoine
a n t o i n e

等。我该如何解决这个问题？

Answer 1

您可以尝试使用Jazzy。这最初是由IBM开发的，但似乎没有得到很多维护。

我不知道今天的状态是什么，但我们成功地使用它来做一些接近你想要实现的目标。不确定你能用它处理l33t。

同时检查this link

Answer 2

Levenstein距离可能有所帮助，但是一些启发式规则可能首先应用于AMHO。

请体验以下计划：

public class LevenshteinDistance
{
   public static int computeDistance( String s1, String s2 )
   {
      s1 = s1.toLowerCase();
      s2 = s2.toLowerCase();
      int[] costs = new int[s2.length() + 1];
      for( int i = 0; i <= s1.length(); i++ )
      {
         int lastValue = i;
         for( int j = 0; j <= s2.length(); j++ )
         {
            if( i == 0 ) {
               costs[ j ] = j;
            }
            else
            {
               if( j > 0 )
               {
                  int newValue = costs[ j - 1 ];
                  if( s1.charAt( i - 1 ) != s2.charAt( j - 1 ) ) {
                     newValue =
                        Math.min(
                           Math.min( newValue, lastValue ),
                           costs[ j ] ) + 1;
                  }
                  costs[ j - 1 ] = lastValue;
                  lastValue = newValue;
               }
            }
         }
         if( i > 0 ) {
            costs[ s2.length() ] = lastValue;
         }
      }
      return costs[ s2.length() ];
   }

   public static void main(String[] args) {
      String ref = "Antoine";
      String[] samples = {
         "4ntoine", "4ntoine", "antoine", "4nt01n3", "titoine", "entoine",
         "a n t o i n e" };
      for( String sample : samples ) {
         System.out.printf( "| %s | %-20s | %4d |\n",
            ref, sample, computeDistance( ref, sample ));
      }
   }
}

结果：

| Antoine | 4ntoine              |    1 |
| Antoine | 4ntoine              |    1 |
| Antoine | antoine              |    0 |
| Antoine | 4nt01n3              |    4 |
| Antoine | titoine              |    2 |
| Antoine | entoine              |    1 |
| Antoine | a n t o i n e        |    6 |

正如您所看到的，应该预处理最后一个单词以删除空格，并且应该预处理第四个单词以用E替换3，用A替换4。

Answer 3

您可以按照建议或者三元组来尝试Levenstein; http://en.m.wikipedia.org/wiki/Trigram_search

匹配变化（拼写错误，leetspeak）的单词

3 个答案: