以下是我的代码:
sklearn_tfidf = TfidfVectorizer(ngram_range= (3,3),stop_words=stopwordslist, norm='l2',min_df=0, use_idf=True, smooth_idf=False, sublinear_tf=True)
sklearn_representation = sklearn_tfidf.fit_transform(documents)
它通过删除所有停用词来生成三元组。
我想要什么允许那些TRIGRAM在中间(不在开始和结束时)有禁用词
是否需要为此编写处理器。 需要建议。
答案 0 :(得分:0)
是的,您需要提供自己的分析器功能,根据您的要求将文档转换为功能。
analyzer:string,{'word','char','char_wb'}或callable
.... .... If a callable is passed it is used to extract the sequence of features out of the raw, unprocessed input.
在该自定义调用中,您需要首先将句子拆分为不同的部分,删除逗号,大括号,符号等特殊字符,将它们转换为小写,然后将它们转换为n_grams
。
默认实现按以下顺序对单个句子起作用:
max_df
或低于min_df
的字词。如果要将自定义callable传递给TfidfVectorizer中的analyzer
param,则需要处理所有这些。
或强>
您可以扩展TfidfVectorizer类并仅覆盖最后两个步骤。像这样:
from sklearn.feature_extraction.text import TfidfVectorizer
class NewTfidfVectorizer(TfidfVectorizer):
def _word_ngrams(self, tokens, stop_words=None):
# First get tokens without stop words
tokens = super(TfidfVectorizer, self)._word_ngrams(tokens, None)
if stop_words is not None:
new_tokens=[]
for token in tokens:
split_words = token.split(' ')
# Only check the first and last word for stop words
if split_words[0] not in stop_words and split_words[-1] not in stop_words:
new_tokens.append(token)
return new_tokens
return tokens
然后,使用它:
vectorizer = NewTfidfVectorizer(stop_words='english', ngram_range=(3,3))
vectorizer.fit(data)