stringdist包中的Jaccard相似性，用于匹配字符串中的单词

Question

我想在stringdist函数中使用Jaccard相似性来确定词袋的相似性。据我所知，使用Jaccard只匹配字符串中的字母。

c <- c('cat', 'dog', 'person')
d <- c('cat', 'dog', 'ufo')

stringdist(c, d, method='jaccard', q=2)
[1] 0 0 1

所以我们在这里看到它计算了猫的相似性。和＃39; cat＆＃39; dog＆＃39;和“狗”＃39;和＆＃39; person＆＃39;和＆＃39; ufo＆＃39;。

我也尝试将单词转换为1个长文本字符串。以下是我需要的方法，但它仍在计算1 - （共享2克数/总独特2克数）：

f <- 'cat dog person'
g <- 'cat dog ufo'
stringdist(f, g, method='jaccard', q=2)
[1] 0.5625

如何通过单词来计算相似度？

Answer 1

您可以通过对句子进行标记并对相应的单词列表进行散列来将您的句子转换为整数列表，然后使用seq_dist()来计算距离。

library(hashr); library(stringdist)
f <- 'cat dog person'
g <- 'cat dog ufo'
seq_dist(hash(strsplit(f, "\\s+")), hash(strsplit(g, "\\s+")), method = "jaccard", q = 2)
[1] 0.6666667