何时使用哪个模糊函数来比较2个字符串

时间:2015-08-04 10:21:32

标签: python string-comparison fuzzywuzzy

我在Python中学习fuzzywuzzy

我理解fuzz.ratiofuzz.partial_ratiofuzz.token_sort_ratiofuzz.token_set_ratio的概念。我的问题是何时使用哪个功能?

  • 我先检查2个琴弦的长度,如果不相似则再说明 出fuzz.partial_ratio
  • 如果两个琴弦的长度相似,我会用 fuzz.token_sort_ratio
  • 我应该始终使用fuzz.token_set_ratio吗?

任何人都知道SeatGeek使用什么标准?

我正在尝试建立一个房地产网站,考虑使用fuzzywuzzy来比较地址。

2 个答案:

答案 0 :(得分:47)

好问题。

我是SeatGeek的工程师,所以我想我可以在这里提供帮助。我们有一个很好的blog post可以很好地解释这些差异,但我可以总结并提供一些有关我们如何使用不同类型的见解。

概述

在引擎盖下,四种方法中的每一种都计算两个输入字符串中令牌的某些排序之间的编辑距离。这是使用difflib.ratio函数which will

完成的
  

返回序列相似性的度量(浮点数为[0,1])。

     

其中T是两个序列中元素的总数,M是   匹配的数量,这是2.0 * M / T.注意,如果是,则为1   序列是相同的,如果它们没有任何共同点则为0。

四个fuzzywuzzy方法在输入字符串的不同组合上调用difflib.ratio

fuzz.ratio

简单。只需在两个输入字符串(code)上调用difflib.ratio

fuzz.ratio("NEW YORK METS", "NEW YORK MEATS")
> 96

fuzz.partial_ratio

尝试更好地考虑部分字符串匹配。使用最短字符串(长度n)对较大字符串的所有n长度子字符串调用ratio并返回最高分(code)。

请注意,“YANKEES”是最短的字符串(长度为7),我们使用“YANKEES”与“NEW YORK YANKEES”长度为7的所有子字符串运行比率(其中包括检查“YANKEES”, 100%匹配):

fuzz.ratio("YANKEES", "NEW YORK YANKEES")
> 60
fuzz.partial_ratio("YANKEES", "NEW YORK YANKEES")
> 100

fuzz.token_sort_ratio

尝试不按顺序考虑类似的字符串。在对每个字符串(code)中的标记进行排序后,在两个字符串上调用ratio。请注意,此处fuzz.ratiofuzz.partial_ratio都失败了,但是一旦您对令牌进行排序,它就是100%匹配:

fuzz.ratio("New York Mets vs Atlanta Braves", "Atlanta Braves vs New York Mets")
> 45
fuzz.partial_ratio("New York Mets vs Atlanta Braves", "Atlanta Braves vs New York Mets")
> 45
fuzz.token_sort_ratio("New York Mets vs Atlanta Braves", "Atlanta Braves vs New York Mets")
> 100

fuzz.token_set_ratio

尝试排除字符串中的差异。调用三个特定子字符串集的比率并返回max(code):

  1. 仅交叉和与字符串1的其余部分的交集
  2. 仅交叉和与字符串二的剩余部分的交集
  3. 与一个剩余部分交叉并与两个剩余部分交叉
  4. 请注意,通过拆分两个字符串的交集和余数,我们考虑了两个字符串的相似和不同:

    fuzz.ratio("mariners vs angels", "los angeles angels of anaheim at seattle mariners")
    > 36
    fuzz.partial_ratio("mariners vs angels", "los angeles angels of anaheim at seattle mariners")
    > 61
    fuzz.token_sort_ratio("mariners vs angels", "los angeles angels of anaheim at seattle mariners")
    > 51
    fuzz.token_set_ratio("mariners vs angels", "los angeles angels of anaheim at seattle mariners")
    > 91
    

    的应用

    这就是魔术发生的地方。在SeatGeek,基本上我们使用每个数据点(场所,事件名称等)的每个比率创建一个矢量分数,并使用它来通知我们的问题域特定的相似性程序决策。

    话虽如此,真相告诉它听起来并不像FuzzyWuzzy对你的用例有用。确定两个地址是否相似会非常糟糕。考虑SeatGeek HQ的两个可能地址:“235 Park Ave Floor 12”和“235 Park Ave S. Floor 12”:

    fuzz.ratio("235 Park Ave Floor 12", "235 Park Ave S. Floor 12")
    > 93
    fuzz.partial_ratio("235 Park Ave Floor 12", "235 Park Ave S. Floor 12")
    > 85
    fuzz.token_sort_ratio("235 Park Ave Floor 12", "235 Park Ave S. Floor 12")
    > 95
    fuzz.token_set_ratio("235 Park Ave Floor 12", "235 Park Ave S. Floor 12")
    > 100
    

    FuzzyWuzzy给这些字符串一个高匹配分数,但是一个地址是我们在联合广场附近的实际办公室,另一个是在Grand Central的另一边。

    对于您的问题,您最好使用Google Geocoding API

答案 1 :(得分:9)

截至2017年6月,fuzzywuzzy还包括一些其他比较功能。以下是对已接受答案(取自source code)中遗漏的内容的概述:

fuzz.partial_token_sort_ratio

token_sort_ratio中的算法相同,但不是在对令牌进行排序后应用ratio,而是使用partial_ratio

fuzz.token_sort_ratio("New York Mets vs Braves", "Atlanta Braves vs New York Mets")
> 85
fuzz.partial_token_sort_ratio("New York Mets vs Braves", "Atlanta Braves vs New York Mets")
> 100    
fuzz.token_sort_ratio("React.js framework", "React.js")
> 62
fuzz.partial_token_sort_ratio("React.js framework", "React.js")
> 100

fuzz.partial_token_set_ratio

token_set_ratio中的算法相同,但不是将ratio应用于令牌集,而是使用partial_ratio

fuzz.token_set_ratio("New York Mets vs Braves", "Atlanta vs New York Mets")
> 82
fuzz.partial_token_set_ratio("New York Mets vs Braves", "Atlanta vs New York Mets")
> 100    
fuzz.token_set_ratio("React.js framework", "Reactjs")
> 40
fuzz.partial_token_set_ratio("React.js framework", "Reactjs")
> 71   

fuzz.QRatio,fuzz.UQRatio

围绕fuzz.ratio进行包装并进行一些验证和短路,此处包含完整性。 UQRatioQRatio的unicode版本。

fuzz.WRatio

尝试加权(名称代表'加权比率')来自不同的算法 计算最好的'得分了。 来自源代码的描述:

1. Take the ratio of the two processed strings (fuzz.ratio)
2. Run checks to compare the length of the strings
    * If one of the strings is more than 1.5 times as long as the other
      use partial_ratio comparisons - scale partial results by 0.9
      (this makes sure only full results can return 100)
    * If one of the strings is over 8 times as long as the other
      instead scale by 0.6
3. Run the other ratio functions
    * if using partial ratio functions call partial_ratio,
      partial_token_sort_ratio and partial_token_set_ratio
      scale all of these by the ratio based on length
    * otherwise call token_sort_ratio and token_set_ratio
    * all token based comparisons are scaled by 0.95
      (on top of any partial scalars)
4. Take the highest value from these results
   round it and return it as an integer.

fuzz.UWRatio

WRatio的Unicode版本。