使用已知的python包实现N-Gram，TF-IDF和余弦相似度

Question

我正在尝试使用实现相似性功能

• N克
• TF-IDF
• 余弦相似度

示例

概念：

words = [...]
word = '...'
similarity = predict(words,word)

def predict(words,word):
     words_ngrams = create_ngrams(words,range=(2,4))  
     word_ngrams =  create_ngrams(word,range=(2,4))

     words_tokenizer = tfidf_tokenizer(words_ngrams)
     word_vec = words_tokenizer.transform(word)

     return cosine_similarity(word_ved,words_tokenizer)

我在网上搜索了一种简单且安全的实现，但是找不到使用sklearn，nltk，scipy等的已知python软件包的计算机。
其中大多数使用“自制”计算。

我试图避免手工编写每一步，并且我猜想所有“那个管道”都有一个简单的解决方法。

任何帮助（和代码）将不胜感激。 tnx：）

Answer 1

最终我发现了...

对于那些将需要解决此问题的人来说，这是我编写的可解决此问题的函数...

'''
### N-Gram & TD-IDF & Cosine Similarity
Using n-gram on 'from column' with TF-IDF to predict the 'to column'.
Adding to the df a 'cosine_similarity' feature with the numeric result.
'''
def add_prediction_by_ngram_tfidf_cosine( from_column_name,ngram_range=(2,4) ):
    global df
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.metrics.pairwise import cosine_similarity
    vectorizer = TfidfVectorizer( analyzer='char',ngram_range=ngram_range )
    vectorizer.fit(df.FromColumn)

    w = from_column_name
    vec_word = vectorizer.transform([w])

    df['vec'] = df.FromColumn.apply(lambda x : vectorizer.transform([x]))
    df['cosine_similarity'] = df.vec.apply(lambda x : cosine_similarity(x,vec_word)[0][0])

    df = df.drop(['vec'],axis=1)

注意：尚未准备好生产