Question

在用于多分类的SVC()中，训练一对一分类器。所以总共应该有n_class * (n_class - 1)/2个分类器。但为什么clf.dual_coef_仅返回(n_class - 1) * n_SV？那么每一行代表什么？

Answer 1

多类设置中sklearn.svm.SVC的双重系数很难解释。 scikit-learn documentation中有一个解释。 sklearn.svm.SVC使用libsvm进行计算，并对双系数采用相同的数据结构。对这些系数的组织的另一种解释是FAQ。对于在拟合的SVC分类器中找到的系数，解释如下：

SVC识别的支持向量各自属于某一类。在双系数中，它们根据它们所属的类来排序。给出一个拟合的SVC估计量，例如

from sklearn.svm import SVC
svc = SVC()
svc.fit(X, y)

你会找到

svc.classes_   # represents the unique classes
svc.n_support_ # represents the number of support vectors per class

根据这两个变量组织支持向量。每个支持向量都用一个类清楚地标识，很明显它可以隐含在最多n_classes-1一对一问题中，即与所有其他类进行每次比较。但是完全有可能在一对一的问题中不会暗示给定的支持向量。

看看

support_indices = np.cumsum(svc.n_support_)
svc.dual_coef_[0:support_indices[0]]  # < ---
                                      # weights on support vectors of class 0
                                      # for problems 0v1, 0v2, ..., 0v(n-1)
                                      # so n-1 columns for each of the 
                                      # svc.n_support_[0] support vectors
svc.dual_coef_[support_indices[1]:support_indices[2]]  
                                      #  ^^^
                                      # weights on support vectors of class 1
                                      # for problems 0v1, 1v2, ..., 1v(n-1)
                                      # so n-1 columns for each of the 
                                      # svc.n_support_[1] support vectors
...
svc.dual_coef_[support_indices[n_classes - 2]:support_indices[n_classes - 1]]
                                      #  ^^^
                                      # weights on support vectors of class n-1
                                      # for problems 0vs(n-1), 1vs(n-1), ..., (n-2)v(n-1)
                                      # so n-1 columns for each of the 
                                      # svc.n_support_[-1] support vectors

给出了各自的一对一问题中0,1，...，n-1类的支持向量的权重。比较除了它自己之外的所有其他类，产生n_classes - 1列。发生这种情况的顺序遵循上面公开的唯一类的顺序。每组中的行数与支持向量一样多。

你可能正在寻找的是原始重量，它们存在于特征空间中，以便检查它们的重要性和重要性。用于分类。这只能通过线性内核实现。试试这个

from sklearn.svm import SVC
svc = SVC(kernel="linear")
svc.fit(X, y)  # X is your data, y your labels

然后看看

svc.coef_

这是一个形状数组（（n_class *（n_class -1）/ 2），n_features）并代表上述权重。

根据doc，权重按以下顺序排列：

class 0 vs class 1
class 0 vs class 2
...
class 0 vs class n-1
class 1 vs class 2
class 1 vs class 3
...
...
class n-2 vs class n-1

sklearn中dual_coef_的维度。 SVC

1 个答案: