Question

我有一堆名字，我想获得唯一的名字。但是，由于拼写错误和数据不一致，名称可能写错了。我正在寻找一种检查字符串向量的方法，如果其中两个是similair。

例如：

pres <- c(" Obama, B.","Bush, G.W.","Obama, B.H.","Clinton, W.J.")

我想发现" Obama, B."和"Obama, B.H."非常相似。有没有办法做到这一点？

Answer 1

这可以基于例如Levenshtein距离来完成。在不同的包中有多种实现方式。在这些问题的答案中可以找到一些解决方案和包：

但大多数时候agrep会做你想做的事情：

> sapply(pres,agrep,pres)
$` Obama, B.`
[1] 1 3

$`Bush, G.W.`
[1] 2

$`Obama, B.H.`
[1] 1 3

$`Clinton, W.J.`
[1] 4

Answer 2

也许agrep是你想要的？它使用Levenshtein编辑距离搜索近似匹配。

lapply(pres, agrep, pres, value = TRUE)

[[1]]
[1] " Obama, B."  "Obama, B.H."

[[2]]
[1] "Bush, G.W."

[[3]]
[1] " Obama, B."  "Obama, B.H."

[[4]]
[1] "Clinton, W.J."

Answer 3

添加另一个副本以显示它可以与多个副本一起使用。

pres <- c(" Obama, B.","Bush, G.W.","Obama, B.H.","Clinton, W.J.", "Bush, G.")

adist显示2个字符向量之间的字符串距离

adist(" Obama, B.", pres)
#      [,1] [,2] [,3] [,4] [,5]
# [1,]    0    9    3   10    7

例如，要选择最接近" Obama, B."的字符串，可以采用距离最小的字符串。为了避免使用相同的字符串，我只选择了大于零的距离：

d <- adist(" Obama, B.", pres)
pres[min(d[d>0])]
# [1] "Obama, B.H."

要获得唯一的名称，并考虑到拼写错误和不一致之处，可以将每个字符串与以前的所有字符串进行比较。然后，如果有类似的，请将其删除。我创建了一个keepunique()函数来执行此操作。然后keepunique()依次将Reduce()应用于向量的所有元素。

keepunique <-  function(previousones, x){
    if(any(adist(x, previousones)<5)){
        x <- NULL
    }
    return(c(previousones, x))
}
Reduce(keepunique, pres)
# [1] " Obama, B."    "Bush, G.W."    "Clinton, W.J."

如何衡量字符串之间的相似性？

3 个答案: