Question

如果我在mysql中有两个字符串：

@a="Welcome to Stack Overflow"
@b=" Hello to stack overflow";

有没有办法使用MYSQL获得这两个字符串之间的相似性百分比？这里例如3个单词是相似的，因此相似性应该是这样的：
计数（@a和@b之间相似的单词）/（计数（@a）+计数（@b） - 计数（交集））
结果是3 /（4 + 4 - 3）= 0.6
任何想法都非常感谢！

Answer 1

你可以使用这个功能（警察^ H ^ H ^ Hadapted from http://www.artfulsoftware.com/infotree/queries.php#552）：

CREATE FUNCTION `levenshtein`( s1 text, s2 text) RETURNS int(11)
    DETERMINISTIC
BEGIN 
    DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; 
    DECLARE s1_char CHAR; 
    DECLARE cv0, cv1 text; 
    SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; 
    IF s1 = s2 THEN 
      RETURN 0; 
    ELSEIF s1_len = 0 THEN 
      RETURN s2_len; 
    ELSEIF s2_len = 0 THEN 
      RETURN s1_len; 
    ELSE 
      WHILE j <= s2_len DO 
        SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
      END WHILE; 
      WHILE i <= s1_len DO 
        SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
        WHILE j <= s2_len DO 
          SET c = c + 1; 
          IF s1_char = SUBSTRING(s2, j, 1) THEN  
            SET cost = 0; ELSE SET cost = 1; 
          END IF; 
          SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
          IF c > c_temp THEN SET c = c_temp; END IF; 
            SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
            IF c > c_temp THEN  
              SET c = c_temp;  
            END IF; 
            SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
        END WHILE; 
        SET cv1 = cv0, i = i + 1; 
      END WHILE; 
    END IF; 
    RETURN c; 
  END

并将其作为XX％使用此功能

CREATE FUNCTION `levenshtein_ratio`( s1 text, s2 text ) RETURNS int(11)
    DETERMINISTIC
BEGIN 
    DECLARE s1_len, s2_len, max_len INT; 
    SET s1_len = LENGTH(s1), s2_len = LENGTH(s2); 
    IF s1_len > s2_len THEN  
      SET max_len = s1_len;  
    ELSE  
      SET max_len = s2_len;  
    END IF; 
    RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100); 
  END

Answer 2

我不认为有一个很好的，单步查询方式来做到这一点 - 自然语言的东西主要是为了“谷歌般的”搜索，这听起来与你想要做的不同。

取决于你实际上要做什么 - 我假设你遗漏了很多细节 - 我会：

创建一个表格，将每个字符串拆分成单词，全部为小写，删除空格和标点符号 - 在您的示例中，您最终得到：

string_id               word

1                       hello
1                       from
1                       stack
1                       overflow
2                       welcome
2                       from
2                       stack
2                       overflow

然后，您可以针对该表运行查询 - 例如

select count(*)
from  stringWords
where string_id = 2
and word in 
  (select word 
  from stringWords
  where string_id = 1);

给你一个交集。

然后，您可以根据公式创建一个函数或类似函数来计算相似度。

不是很干净，但它应该表现得很漂亮，它主要是关系型的，它应该主要与语言无关。为了处理可能的拼写错误，您可以计算soundex - 这将允许您将“堆栈”与“stak”进行比较并查看它们的真实程度，尽管这对于除英语之外的其他语言不可靠。

Answer 3

你可以试试SOUNDEX算法，看看这里：）

SOUNDEX MySQL

编辑1：

也许这个关于MySQL自然语言处理的链接可能很有用

Natural Language Full-Text Searches

How to find similar results and sort by similarity?

HTH！

Answer 4

如果您不想编写自己的算法，这可能对您有所帮助：

http://dev.mysql.com/doc/refman/5.0/en/fulltext-natural-language.html

如何计算MYSQL中两个字符串之间的相似性

4 个答案: