Question

SO和网上有几个问题描述如何在两个字符串之间取cosine similarity，甚至在两个字符串之间使用TFIDF作为权重。但像scikit linear_kernel这样的函数的输出让我感到困惑。

请考虑以下代码：

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

a = ['hello world', 'my name is', 'what is your name?']
b = ['my name is', 'hello world', 'my name is what?']

df = pd.DataFrame(data={'a':a, 'b':b})
df['ab'] = df.apply(lambda x : x['a'] + ' ' + x['b'], axis=1)
print(df.head())

                    a                 b                                   ab
0         hello world        my name is               hello world my name is
1          my name is       hello world               my name is hello world
2  what is your name?  my name is what?  what is your name? my name is what?

问题：我想要一个列是a中的字符串与b中的字符串之间的余弦相似度。

我尝试了什么：

我在ab上训练了一个TFIDF分类器，以包含所有单词：

clf = TfidfVectorizer(ngram_range=(1, 1), stop_words='english')
clf.fit(df['ab'])

然后我得到了a和b列的稀疏TFIDF矩阵：

tfidf_a = clf.transform(df['a'])
tfidf_b = clf.transform(df['b'])

现在，如果我使用scikit＆＃39; linear_kernel，这是其他人推荐的，我会回复他们的文档中提到的（nfeatures，nfeatures）Gram矩阵。

from sklearn.metrics.pairwise import linear_kernel
linear_kernel(tfidf_a,tfidf_b)

array([[ 0.,  1.,  0.],
       [ 0.,  0.,  0.],
       [ 0.,  0.,  0.]])

但我需要的是一个简单的向量，其中第一个元素是a的第一行和b的第一行之间的cosin_sim，第二个元素是cos_sim（a [1 ]，b [1]），等等。

使用python3，scikit-learn 0.17。

Answer 1

我认为你的例子有点下降，因为你的TfidfVectorizer正在过滤你的大部分单词，因为你有stop_words ='english'参数（你已经包含了示例中的几乎所有停用词）。我删除了它并使你的矩阵密集，所以我们可以看到发生了什么。如果你这样做会怎么样？

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from scipy import spatial

a = ['hello world', 'my name is', 'what is your name?']
b = ['my name is', 'hello world', 'my name is what?']

df = pd.DataFrame(data={'a':a, 'b':b})
df['ab'] = df.apply(lambda x : x['a'] + ' ' + x['b'], axis=1)

clf = TfidfVectorizer(ngram_range=(1, 1))
clf.fit(df['ab'])

tfidf_a = clf.transform(df['a']).todense()
tfidf_b = clf.transform(df['b']).todense()

row_similarities = [1 - spatial.distance.cosine(tfidf_a[x],tfidf_b[x]) for x in range(len(tfidf_a)) ]
row_similarities

[0.0, 0.0, 0.72252389079716417]

显示每行之间的距离。我并没有完全了解你是如何构建完整语料库的，但是这个例子根本没有优化，所以我现在就把它留下来。希望这会有所帮助。

Answer 2

dfs = {}
idfs = {}
speeches = {}
speechvecs = {}
total_word_counts = {}

def tokenize(doc):
    tokens = mytokenizer.tokenize(doc)
    lowertokens = [token.lower() for token in tokens]
    filteredtokens = [stemmer.stem(token) for token in lowertokens if not token in sortedstopwords]
    return filteredtokens

def incdfs(tfvec):
    for token in set(tfvec):
        if token not in dfs:
            dfs[token]=1
            total_word_counts[token] = tfvec[token]
        else:
            dfs[token] += 1
            total_word_counts[token] += tfvec[token]


def calctfidfvec(tfvec, withidf):
    tfidfvec = {}
    veclen = 0.0

    for token in tfvec:
        if withidf:
            tfidf = (1+log10(tfvec[token])) * getidf(token)
        else:
            tfidf = (1+log10(tfvec[token]))
        tfidfvec[token] = tfidf 
        veclen += pow(tfidf,2)

    if veclen > 0:
        for token in tfvec: 
            tfidfvec[token] /= sqrt(veclen)

    return tfidfvec

def cosinesim(vec1, vec2):
    commonterms = set(vec1).intersection(vec2)
    sim = 0.0
    for token in commonterms:
        sim += vec1[token]*vec2[token]

    return sim

def query(qstring):
    qvec = getqvec(qstring.lower())
    scores = {filename:cosinesim(qvec,tfidfvec) for filename, tfidfvec in speechvecs.items()}  
    return max(scores.items(), key=operator.itemgetter(1))[0]

def docdocsim(filename1,filename2):
    return cosinesim(gettfidfvec(filename1),gettfidfvec(filename2))

使用TFIDF的余弦相似度

2 个答案: