Question

我目前正在从事NLP项目。一项任务是比较两个新闻文章/标题的相似程度。

为此，我已经使用gensim库上的英文wikipeida文章训练了doc2vec模型。现在，我想通过从wiki doc2vec模型推断向量来比较新文本的相似性。我尝试过的一种方法是gensim docvecs的'similarity_unseen_docs'函数。但是，结果并不是很直观。我可以知道还有其他方法可以得到性能更好的相似度分数吗？还是代码的某些部分是错误的？

doc2vec模型的训练：

models = Doc2Vec(dm=1, dm_mean=1, vector_size=300, window=5, min_count=20, epochs =10, sample=0.001, negative=5, workers=cores)

相似性比较：

arg1='China is  the leader in manufacturing electric vehicle'
arg2='The biggest electric car producer is China'

model.docvecs.similarity_unseen_docs(model=wikimodel, doc_words1=tokenize_text(arg1), 
                                         doc_words2=tokenize_text(arg2), alpha=0.025, min_alpha=0.0001, steps=50)

输出相似度得分仅为〜0.25，这似乎不好。

这是培训的代码：

from gensim.corpora.wikicorpus import WikiCorpus
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
from gensim.models import KeyedVectors
from pprint import pprint
import multiprocessing

#read the wiki corpus
wiki = WikiCorpus("trend_analysis/enwiki-latest-pages-articles.xml.bz2")

#define the class to convert wikicorpus into suitable form to train Doc2vec
class TaggedWikiDocument(object):
    def __init__(self, wiki):
        self.wiki = wiki
        self.wiki.metadata = True
    def __iter__(self):
        for content, (page_id, title) in self.wiki.get_texts():
            yield TaggedDocument([c for c in content], [title])

documents = TaggedWikiDocument(wiki)


cores = multiprocessing.cpu_count()

#initialize a model and choose training method. (we use DM here)
models = Doc2Vec(dm=1, dm_mean=1, vector_size=300, window=5, min_count=20, epochs =10, sample=0.001, negative=5, workers=cores)

#building vocab for the model
models.build_vocab(documents)

#train the Doc2vec model
models.train(documents,total_examples=models.corpus_count, epochs=1)

请让我知道培训是否出现任何错误，导致推断出看不见的文档不准确。

如何从WIKI-doc2vec模型中获得新语料库的句子/文本相似性？

0 个答案: