我希望从文本中获取最相关的单词,以便准备标签云。
我使用scikit-learn包中的CountVectoriser:
cv = CountVectorizer(min_df=1, charset_error="ignore",
stop_words="english", max_features=200)
这很好,因为它给了我话语和频率:
counts = cv.fit_transform([text]).toarray().ravel()
words = np.array(cv.get_feature_names())
我可以过滤非频繁的单词:
words = words[counts > 1]
counts = counts[counts > 1]
以及单词,即数字:
words = words[np.array(map(lambda x: x.isalpha(), words))]
counts = counts[np.array(map(lambda x: x.isalpha(), words))]
但它仍然不完美......
我的问题是:
请注意:
答案 0 :(得分:6)
1-如何过滤掉动词?
取决于您要支持的语言。你需要一个好的句子+单词标记器对和一部分语音标记器。所有这三个组件通常都是使用机器学习模型实现的(尽管您可以使用基于规则的句子和单词标记器获得良好的结果)。如果你只想支持英语,你可以在nltk找到预先训练过的模型,但我不是专家,你必须阅读文档和教程:)
一旦你知道如何将文本分成句子和单词,并识别和删除动词,你可以将其包装为python函数并将其传递给CountVectorizer
构造函数,请参阅下文。
2-如何完全去除词干以消除不同形式的同一个词?
您必须将自定义tokenizer
python可调用传递给CountVectorizer
构造函数,以同时处理令牌提取,词干提取和可选的过滤。这在documentation。
对于词干本身,它取决于您想要支持的语言,但您可以从http://nltk.org/api/nltk.stem.html开始
有一个拉动请求,可以让插入一个词干分析器更自然:
https://github.com/scikit-learn/scikit-learn/pull/1537
3-如何调用CountVectorizer过滤掉两个字母的单词?
您可以更改用于标记化的默认正则表达式:
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> CountVectorizer().token_pattern
u'(?u)\\b\\w\\w+\\b'
>>> CountVectorizer(token_pattern=u'(?u)\\b\\w{3,}\\b').build_tokenizer()(
... 'a ab abc abcd abcde xxxxxxxxxxxxxxxxxxxxxx')
['abc', 'abcd', 'abcde', 'xxxxxxxxxxxxxxxxxxxxxx']
>>> CountVectorizer(token_pattern=u'(?u)\\b\\w{3,9}\\b').build_tokenizer()(
... 'a ab abc abcd abcde xxxxxxxxxxxxxxxxxxxxxx')
['abc', 'abcd', 'abcde']
但在您的情况下,您可能希望将标记生成器整体替换。您仍然可以查看source of the default implementation。
但有一点需要注意:要构建标签云,直接使用nltk和python标准库中的collections.Counter
类可能要容易得多。 sklearn对此任务没有太多帮助。