Question

如何选择max_features模块中TfidfVectorizer参数的编号？我应该使用数据中的最大元素数吗？

参数的description没有让我清楚地了解如何选择它的值：

max_features：int或None，默认=无

如果不是None，则构建一个词汇表，仅考虑按语料库中术语频率排序的最高max_features。       如果词汇表不是None，则忽略此参数。

Answer 1

此参数绝对可选，应根据理性思维和数据结构进行校准。

有时转换整个词汇表是无效的，因为数据可能有一些非常罕见的单词，如果传递给TfidfVectorizer().fit()，将在未来为输入添加不需要的维度。例如，在这种情况下，适当的技术之一是打印出文档中的单词频率，然后为它们设置一定的阈值。想象一下，您已将阈值设置为50，并且您的数据语料库由100个单词组成。在查看单词频率后，20个单词出现不到50次。因此，您设置max_features=80并且您很高兴。

如果max_features设置为None，则在 TF-IDF 转换期间会考虑整个语料库。否则，如果您将5传递给max_features，则意味着在文本文档中最常用的5个单词中创建一个特征矩阵。

快速示例

假设您使用与硬件相关的文档。您的原始数据如下：

from sklearn.feature_extraction.text import TfidfVectorizer

data = ['gpu processor cpu performance',
        'gpu performance ram computer',
        'cpu computer ram processor jeans']

您看到第三个文档中的单词jeans几乎没有关联，只在整个数据集中出现一次。当然，省略这个词的最好方法是使用stop_words参数，但想象一下是否有很多这样的词;或与主题相关但几乎没有出现的词语。在第二种情况下，max_features参数可能会有所帮助。如果继续max_features=None，那么它将创建一个3x7稀疏矩阵，而最佳情况则是3x6矩阵：

tf = TfidfVectorizer(max_features=None).fit(data)
tf.vocabulary_.__len__()  # returns 7 as we passed 7 words
tf.fit_transform(data)  # returns 3x7 sparse matrix

tf = TfidfVectorizer(max_features=6).fit(data)  # excluding 'jeans'
tf.vocabulary_  # prints out every words except 'jeans'
tf.vocabulary_.__len__()  # returns 6
tf.fit_transform(data)  # returns 3x6 sparse matrix

Scikit-Learn Vectorizer`max_features`

1 个答案:

快速示例