修改TF-IDF词汇权重

时间:2019-06-20 15:27:14

标签: tfidfvectorizer

我将TF-IDF应用于一组描述并获得了单词权重,但是,我想将特定单词的权重提高1.5倍,因为它们会提高最终模型的准确性。

我使用了以下代码:

#Fit the tarining data
tfv.fit(list(xtrain))

#increase the weights for certain keywords
for k in imp_words:
    if k in tfv.vocabulary_:
        tfv.vocabulary_[k] = int(tfv.vocabulary_[k] * 1.5)

#Using the new corpus transform the test data
tfv.transform(xvalid)

只要我采用这种方法,Jupyter Notebook就会关闭/停止工作。 有人知道这背后的原因吗?

我尝试过是否存在某些数据类型问题,但所有内容看起来都采用相同的格式。

0 个答案:

没有答案