我正在尝试创建一个分类器来对网站进行分类。我这是第一次这样做，所以这对我来说都很新鲜。目前我正在尝试在网页的几个部分（例如标题，文本，标题）上做一些Bag of Words。它看起来像这样：
from sklearn.feature_extraction.text import CountVectorizer
countvect_text = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_title = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_headings = CountVectorizer(encoding="cp1252", stop_words="english")
X_tr_text_counts = countvect_text.fit_transform(tr_data['text'])
X_tr_title_counts = countvect_title.fit_transform(tr_data['title'])
X_tr_headings_counts = countvect_headings.fit_transform(tr_data['headings'])
from sklearn.feature_extraction.text import TfidfTransformer
transformer_text = TfidfTransformer(use_idf=True)
transformer_title = TfidfTransformer(use_idf=True)
transformer_headings = TfidfTransformer(use_idf=True)
X_tr_text_tfidf = transformer_text.fit_transform(X_tr_text_counts)
X_tr_title_tfidf = transformer_title.fit_transform(X_tr_title_counts)
X_tr_headings_tfidf = transformer_headings.fit_transform(X_tr_headings_counts)
from sklearn.naive_bayes import MultinomialNB
text_nb = MultinomialNB().fit(X_tr_text_tfidf, tr_data['class'])
title_nb = MultinomialNB().fit(X_tr_title_tfidf, tr_data['class'])
headings_nb = MultinomialNB().fit(X_tr_headings_tfidf, tr_data['class'])
X_te_text_counts = countvect_text.transform(te_data['text'])
X_te_title_counts = countvect_title.transform(te_data['title'])
X_te_headings_counts = countvect_headings.transform(te_data['headings'])
X_te_text_tfidf = transformer_text.transform(X_te_text_counts)
X_te_title_tfidf = transformer_title.transform(X_te_title_counts)
X_te_headings_tfidf = transformer_headings.transform(X_te_headings_counts)
accuracy_text = text_nb.score(X_te_text_tfidf, te_data['class'])
accuracy_title = title_nb.score(X_te_title_tfidf, te_data['class'])
accuracy_headings = headings_nb.score(X_te_headings_tfidf, te_data['class'])
这很好，我得到了预期的准确性。但是，正如您可能已经猜到的那样，这看起来很杂乱，并且充满了重复。我的问题是，有没有办法更简洁地写这个？
此外，我不确定如何将这三个功能组合到单个多项分类器中。我尝试将一个tfidf值列表传递给MultinomialNB().fit()，但显然这是不允许的。
可选地，为特征添加权重也是很好的，这样在最终分类器中，一些向量比其他向量具有更高的重要性。
我猜我需要pipeline，但我不确定在这种情况下我应该如何使用它。
答案 0 :(得分：2)
下面的代码段是简化代码的可能方法：
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import MultinomialNB
cv = CountVectorizer(encoding="cp1252", stop_words="english")
tt = TfidfTransformer(use_idf=True)
mnb = MultinomialNB()
accuracy = {}
for item in ['text', 'title', 'headings']:
X_tr_counts = cv.fit_transform(tr_data[item])
X_tr_tfidf = tt.fit_transform(X_tr_counts)
mnb.fit(X_tr_tfidf, tr_data['class'])
X_te_counts = cv.transform(te_data[item])
X_te_tfidf = tt.transform(X_te_counts)
accuracy[item] = mnb.score(X_te_tfidf, te_data['class'])
分类成功率存储在字典accuracy中，密钥为'text，'title'和'headings'。
更优雅的解决方案 - 不一定更简单 - 将包括使用@Vivek Kumar指出的管道和 FeatureUnion 。此方法还允许您将所有要素组合到单个模型中，并将权重因子应用于从数据集的不同项中提取的要素。
首先我们导入必要的模块。
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import FeatureUnion, Pipeline
然后我们定义一个变换器类（如this example中所建议的那样）来选择数据集的不同项：
class ItemSelector(BaseEstimator, TransformerMixin):
def __init__(self, key):
self.key = key
def fit(self, foo, bar=None):
return self
def transform(self, data_dict):
return data_dict[self.key]
我们现在准备定义管道：
pipeline = Pipeline([
('features', FeatureUnion(
transformer_list=[
('text_feats', Pipeline([
('text_selector', ItemSelector(key='text')),
('text_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
('title_feats', Pipeline([
('title_selector', ItemSelector(key='text')),
('title_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
('headings_feats', Pipeline([
('headings_selector', ItemSelector(key='text')),
('headings_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
],
transformer_weights={'text': 0.5, #change weights as appropriate
'title': 0.3,
'headings': 0.2}
)),
('classifier', MultinomialNB())
])
最后，我们可以直接的方式对数据进行分类：
pipeline.fit(tr_data, tr_data['class'])
pipeline.score(te_data, te_data['class'])
答案 1 :(得分：2)
首先，可以使用TfidfVectorizer（基本上是两者的组合）删除CountVectorizer和TfidfTransformer。
其次，TfidfVectorizer和MultinomialNB可以组合成Pipeline。
管道依次应用变换列表和最终估算器。在fit()上调用Pipeline时，它会一个接一个地适应所有变换并转换数据，然后使用最终估算器拟合转换后的数据。当score()或predict()被调用时，它只会在所有变换器上调用transform()，在最后一个调用score()或predict()。
所以代码看起来像：
from sklearn.pipeline import Pipeline
pipeline = Pipeline([('vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True)),
('nb', MultinomialNB())])
accuracy={}
for item in ['text', 'title', 'headings']:
# No need to save the return of fit(), it returns self
pipeline.fit(tr_data[item], tr_data['class'])
# Apply transforms, and score with the final estimator
accuracy[item] = pipeline.score(te_data[item], te_data['class'])
修改： 编辑包括所有功能的组合，以获得单一的准确性：
要结合结果，我们可以采用多种方法。一个容易理解的问题（但有点再次出现在杂乱的一面）如下：
# Using scipy to concatenate, because tfidfvectorizer returns sparse matrices
from scipy.sparse import hstack
def get_tfidf(tr_data, te_data, columns):
train = None
test = None
tfidfVectorizer = TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True)
for item in columns:
temp_train = tfidfVectorizer.fit_transform(tr_data[item])
train = hstack((train, temp_train)) if train is not None else temp_train
temp_test = tfidfVectorizer.transform(te_data[item])
test = hstack((test , temp_test)) if test is not None else temp_test
return train, test
train_tfidf, test_tfidf = get_tfidf(tr_data, te_data, ['text', 'title', 'headings'])
nb = MultinomialNB()
nb.fit(train_tfidf, tr_data['class'])
nb.score(test_tfidf, te_data['class'])
第二种方法（更优选）将包括所有这些方法。但是由于选择了不同的列（＆＃39; text＆＃39;，＆＃39; title＆＃39;，＆＃39;标题＆＃39;）并将结果连接在一起，因此不是那么简单。我们需要为它们使用FeatureUnion。特别是以下示例：
第三，如果您可以使用其他库，那么来自sklearn-pandas的{{3}}可以简化上一个示例中使用的FeatureUnions的使用。
如果你想要第二或第三种方式，如果遇到任何困难，请随时联系。
注意：我没有检查代码，但它应该工作（减少一些语法错误，如果有的话）。将在我的电脑上尽快检查。