我有一个执行特征工程和模型选择的管道。
特征工程和模型选择
from sklearn.svm import LinearSVC
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
特征工程和模型的管道
model = Pipeline([('vectorizer', CountVectorizer()),
('tfidf', TfidfTransformer()),
('clf', OneVsRestClassifier(LinearSVC(class_weight="balanced")))])
参数选择
from sklearn.model_selection import GridSearchCV
parameters = {'vectorizer__ngram_range': [(1, 1), (1, 2),(2,2)],
'tfidf__use_idf': (True, False)}
gs_clf_svm = GridSearchCV(model, parameters, n_jobs=-1)
gs_clf_svm = gs_clf_svm.fit(X, y)
print(gs_clf_svm.best_score_)
print(gs_clf_svm.best_params_)
使用所选参数准备最终管道
model = Pipeline([('vectorizer', CountVectorizer(ngram_range=(1,2))),
('tfidf', TfidfTransformer(use_idf=True)),
('clf', OneVsRestClassifier(LinearSVC(class_weight="balanced")))])
带有训练数据的适合模型 model.fit(X_train,y_train)
保存模型
from sklearn.externals import joblib
joblib.dump(model, 'model_question_topic.pkl', compress=1)
现在在另一个文件中,我正在加载模型并进行预测
from sklearn.externals import joblib
model = joblib.load('model_question_topic.pkl')
现在它可以像第1类一样正确预测类了。
question = "apply leave"
model.predict([question])[0]
但是问题是我需要像这样的置信度或百分比
1级= 0.8-2级= 0.05-3级= 0.05-4级= 0.1
model.predict_proba([question])[0]
我如何在python3中做到这一点?