Question

我正在使用python和热门的scikit-learn模块SVM课程培训二元分类器。培训结束后，我使用predict方法进行sci-kit's SVC documentation中列出的分类。

我想了解更多关于我的样本特征对训练的decision_function（支持向量）所产生的分类的重要性。任何使用这种模型进行预测时评估特征重要性的策略都是受欢迎的。

谢谢！安德烈

Answer 1

那么，我们如何解释给定样本分类的特征重要性？

我认为使用线性内核是第一种方法，因为训练模型的svc.coef_属性的重要性/相对简单性。 check out Bitwise's answer

下面我将使用scikit训练数据训练线性核SVM。然后我们将查看coef_属性。我将包括一个简单的图表，显示分类器系数和训练特征数据的点积如何划分结果类。

from sklearn import svm
from sklearn.datasets import load_breast_cancer
import numpy as np
import matplotlib.pyplot as plt

data = load_breast_cancer()
X = data.data                # training features
y = data.target              # training labels
lin_clf = svm.SVC(kernel='linear')
lin_clf.fit(X,y)

scores = np.dot(X, lin_clf.coef_.T)

b0 = y==0 # boolean or "mask" index arrays
b1 = y==1
malignant_scores = scores[b1]
benign_scores = scores[b1]

fig  = plt.figure()
fig.suptitle("score breakdown by classification", fontsize=14, fontweight='bold')
score_box_plt = ply.boxplot(
    [malignant_scores, benign_scores],
    notch=True,
    labels=list(data.target_names),
    vert=False
)
plt.show(score_box_plt)

正如您所看到的，我们似乎已经访问了适当的拦截和系数值。我们的决策边界在0左右徘徊，阶级分数明显分离。

现在我们有一个基于线性系数的评分系统，我们可以轻松地研究每个特征如何促成最终分类。在这里，我们显示每个特征对该样本的最终得分的影响。

## sample we're using X[2] --> classified benign, lin_clf score~(-20)
lin_clf.predict(X[2].reshape(1,30))

contributions = np.multiply(X[2], lin_clf.coef_.reshape((30,)))
feature_number = np.arange(len(contributions)) +1

plt.bar(feature_number, contributions, align='center')
plt.xlabel('feature index')
plt.ylabel('score contribution')
plt.title('contribution to classification outcome by feature index')
plt.show(feature_contrib_bar)

我们还可以简单地对同一数据进行排序，以获得给定分类的贡献排名特征列表，以查看哪个特征对我们评估其组成的score贡献最大。

abs_contributions = np.flip(np.sort(np.absolute(contributions)), axis=0)
feat_and_contrib = []
for contrib in abs_contributions:
   if contrib not in contributions:
       contrib = -contrib
       feat = np.where(contributions == contrib)
       feat_and_contrib.append((feat[0][0], contrib))
   else:
       feat = np.where(contributions == contrib)
       feat_and_contrib.append((feat[0][0], contrib))

# sorted by max abs value. each row a tuple:;(feature index, contrib)
feat_and_contrib

从排名列表中我们可以看到，导致最终得分的前五个特征指数（约为-20以及分类＆＃39;良性＆＃39;）是[0, 22, 13, 2, 21]，对应于我们的数据集中的要素名称; ['mean radius', 'worst perimeter', 'area error', 'mean perimeter', 'worst texture']。

Answer 2

假设您拥有单词词化功能包，并且您想知道哪些单词很重要进行分类，然后将此代码用于线性svm

weights = np.abs(lr_svm.coef_[0])
sorted_index = np.argsort(wt)[::-1]
top_10 = sorted_index[:10]
terms = text_vectorizer.get_feature_names()
for ind in top_10:
    print(terms[ind])

Answer 3

您可以使用SelectFromModel in sklearn获取模型最相关功能的名称。 Here is an example提取LassoCV的功能。

您还可以查看this example，它使用SVM中的coef_属性来显示最顶层的功能。

查找SVM分类的最重要功能

3 个答案: