Question

对于nltk来说就像是：

def symm_similarity(textA,textB):
    textA = set(word_tokenize(textA))
    textB = set(word_tokenize(textB))    
    intersection = len(textA.intersection(textB))
    difference = len(textA.symmetric_difference(textB))
    return intersection/float(intersection+difference)

由于spacy更快，我试图在spacy中进行，但令牌对象似乎并没有为此提供快速解决方案。有什么想法吗？

谢谢大家。

Answer 1

您的函数获取共享的单词类型的百分比，而不是令牌。你正在接受这些词汇，而不会对他们的数量敏感。

如果您需要令牌数，我希望以下内容非常快，只要您加载了词汇表文件（默认情况下，如果您安装了数据）：

from spacy.attrs import ORTH

def symm_similarity_types(nlp, textA,textB):
    docA = nlp.make_doc(textA)
    docB = nlp.make_doc(textB)
    countsA = Counter(docA.count_by(ORTH))
    countsB = Counter(docB.count_by(ORTH)
    diff = sum(abs(val) for val in (countsA - countsB).values())
    return diff / (len(docA) + len(docB))

如果你想要计算与上面代码完全相同的东西，那么这里是spaCy的等价物。 Doc对象允许您遍历Token个对象。然后，您应该将计数基于token.orth属性，该属性是字符串的整数ID。我希望使用整数会比字符串集快一点：

def symm_similarity_types(nlp, textA,textB):
    docA = set(w.orth for w in nlp(textA)
    docB = set(w.orth for w in nlp(textB) 
    intersection = len(textA.intersection(textB))
    difference = len(textA.symmetric_difference(textB))
    return intersection/float(intersection+difference)

这应该比NLTK版本更有效，因为你正在处理整数集，而不是字符串。

如果您真的关心效率，那么在Cython中工作通常会更方便，而不是试图猜测Python在做什么。这是基本循环：

# cython: infer_types=True
for token in doc.c[:doc.length]
    orth = token.lex.orth

doc.c是TokenC*，因此您需要在连续内存上进行迭代并取消引用单个指针（token.lex是const LexemeC*）

使用spacy查找两个文档共享的令牌百分比

1 个答案: