Question

我想使用scikit-learn中的TfidfVectorizer和相关函数来执行文档分类，但我对它的使用感到有些困惑（而且我搜索过的其他问题都没有。正确的数据格式化。）

目前，我的培训数据按以下方式组织：

从语料库中获取单个文本。
规范化，标记化（使用nltk PunktWordTokenizer），干（使用nltk SnowballStemmer）
过滤掉留下的低长度和低出现的单词
标记相应的文字

完成上述操作后，单个文本如下所示（此处的值是随机的，但对应于每个术语的计数/出现次数）：

text = ({"has": 5.0, "love": 12.0, ...}, "Relationships")

尽管完整的语料库在最后看起来像这样：

corpus = [({"has": 5.0, "love": 12.0, ...}, "Relationships"),
          ({"game": 9, "play": 9.0, ...}, "Games"),
          ...,
         ]

如何将此数据提供给TfidfVectorizer()？我是否必须提供上面的内容（如词典？作为列表？），或仅提供没有计数的内容？我什么时候提供标签？如果需要的话，我不介意完全重构我的数据。

遗憾的是，关于这个特定功能的文档有点稀疏，有关格式化的例子。

Answer 1

这是您使用TfidfVectorizer（look here了解详情）

的方法

>>> from sklearn.feature_extraction.text import TfidfVectorizer
>>> corpus = ['This is the first document.',
              'This is the second second document.',
              'And the third one.',
              'Is this the first document?']
>>> vect = TfidfVectorizer()
>>> X = vect.fit_transform(corpus)
>>> X.todense()

matrix([[ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674],
        [ 0.        ,  0.27230147,  0.        ,  0.27230147,  0.        ,
          0.85322574,  0.22262429,  0.        ,  0.27230147],
        [ 0.55280532,  0.        ,  0.        ,  0.        ,  0.55280532,
          0.        ,  0.28847675,  0.55280532,  0.        ],
        [ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674]])

这是文本语料库的数字表示。现在要拟合将文档映射到标签的模型，首先将它们放在目标变量中，标签的长度应该与语料库中的文档数量相匹配：

>>> y = ['Relationships', 'Games', ...]

现在您可以适应任何模型，例如：

>>> from sklearn.linear_model import SGDClassifier
>>> model = SGDClassifier()
>>> model.fit(X, y)

现在您有一个可以评估新数据的拟合模型。预测为新的语料库或文本重复相同的过程。请注意，我使用与以前相同的矢量化程序vect：

X_pred = vect.transform(['My new document'])
y_pred = model.predict(X_pred)

如果您想使用自定义分词器：

vect = TfidfVectorizer(tokenizer=your_custom_tokenizer_function)

我如何使用scikit-learn中的tfidf计算函数？

1 个答案: