Question

如何使用python在数据库表中的记录上实现levenshtein距离？我知道如何将python与数据库连接，在python中编码可能不是问题，我也在数据库表中有记录。我理解levenshtein距离的理论和动态规划。这里的问题是，如何以这样的方式编写代码：在连接到数据库表之后，我可以比较具有最多三个字段的两个记录并输出它们的相似性分数。下面是我的数据库表的信息：

记录1：
作者：Michael I James
标题：网络的进步
期刊：ACM

记录2：作者：Michael J Inse
标题：网络的进步
期刊：ACM

欢迎任何想法。我是这个领域的新手，请尝试解释一下细节。感谢。

Answer 1

我对您问题的理解是，您确实需要识别可能重复的非常相似的记录。我会在数据库中解决这个问题。无需编程。如果您的数据库中没有Levenshtein功能，则可能需要创建用户定义函数。

这是MySQL的一个例子：

CREATE FUNCTION `levenshtein`(s1 VARCHAR(255), s2 VARCHAR(255)) RETURNS int(11) DETERMINISTIC  
BEGIN    
  DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
  DECLARE s1_char CHAR;    DECLARE cv0, cv1 VARBINARY(256);
  SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
  IF s1 = s2 THEN 
    RETURN 0;
  ELSEIF s1_len = 0 THEN 
    RETURN s2_len;
  ELSEIF s2_len = 0 THEN 
    RETURN s1_len;
  ELSE 
    WHILE j <= s2_len DO 
      SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
    END WHILE; 
    WHILE i <= s1_len DO 
      SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
      WHILE j <= s2_len DO 
        SET c = c + 1; 
        IF s1_char = SUBSTRING(s2, j, 1) THEN 
          SET cost = 0; 
        ELSE 
          SET cost = 1; 
        END IF; 
        SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
        IF c > c_temp THEN 
          SET c = c_temp; 
        END IF; 
        SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
        IF c > c_temp THEN 
          SET c = c_temp; 
        END IF; 
        SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
      END WHILE; 
      SET cv1 = cv0, i = i + 1; 
    END WHILE;
  END IF;
  RETURN c;  
END

然后您需要将所有记录相互比较。这需要自我完全加入，当然可能有点沉重。如果太重，你需要采用Python方式，这将允许你避免重复（比较相同记录的不同时间）。

这是我要做的。请注意，我宁愿使用ID来更容易识别：

SELECT a.ID AS IDa,
  b.ID AS IDb,
  a.Author AS AuthorA, 
  b.Author AS AuthorB, 
  ap.levenshtein(a.Author, b.Author) AS Lev_Aut,
  a.Title AS TitleA, b.Title AS TitleB, ap.levenshtein(a.Title, b.Title) AS Lev_Title,
  a.Journal AS JounalA , b.Journal AS JournalB, ap.levenshtein(a.Journal, b.Journal) AS Lev_Journal,
  ap.levenshtein(a.Author, b.Author) + ap.levenshtein(a.Title, b.Title) + ap.levenshtein(a.Journal, b.Journal) AS Composite
FROM test.zzz AS a, test.zzz AS b 
WHERE a.ID != b.ID
ORDER BY 8;

将返回从最佳匹配到最差匹配（复合列）的Levenshtein值列表。条件避免将记录与自身进行比较。

使用python在Levenshtein上实现数据库记录

1 个答案: