Question

这篇文章之后是以下帖子：

https://cs.stackexchange.com/questions/70395/what-is-the-effect-of-hidden-layer-size

我想知道我的数据是否可以线性分离。根据我在上面链接的帖子中收到的评论，我决定在我的数据上运行一个硬SVM来查看分类结果。

我的输入数据，X是（10000,128）的矩阵，输出/目标/类是（10000,10）。我有10个班级，范围从1到10。

使用以下代码，我尝试了LogisticRegression（），svm.LinearSVC（C = 1，loss ='hinge'）和svm.SVC（kernel ='linear'，C = 1）：

dataframe = read_csv('data.txt')
array = dataframe.values

X = array[:, 0:128]
y = array[:,-1]

plt.hist(y, bins='auto')  # plt.hist passes it's arguments to np.histogram
plt.title("Histogram with 'auto' bins")
plt.show()

models = []
models.append(('LR', LogisticRegression() ))
models.append(('LSVM', svm.LinearSVC(C=1, loss='hinge') ))
models.append(('LSVM2', svm.SVC(kernel='linear', C=1) ))

results=[]
names=[]
scoring = 'accuracy'
for name, model in models:
    kfold = KFold(n_splits=10, random_state=7)
    cv_results = cross_val_score(model, X, y, cv=kfold, scoring=scoring)
    results.append(cv_results)
    names.append(name)
    msg = "%s: %f (%f)" % (name, cv_results.mean(), cv_results.std())
    print(msg)

以下是结果：

LR: 0.613360 (0.019632)
LSVM: 0.307829 (0.020123)
LSVM2: 1.000000 (0.000000)

我有两个问题：

（1）我的数据是否可以线性分离？

（2）LSVM2的结果是奇怪的吗？为此，我进一步使用

models.append(('RBFSVM', svm.SVC(kernel='rbf', gamma=0.7, C=1) ))
models.append(('POLYSVM', svm.SVC(kernel='poly', degree=3, C=1) ))

并收到以下内容：

RBFSVM: 0.797680(.015187)
POLYSVM: 0.100011(0.008113)

你能帮助我获得更直觉吗？

谢谢，

Answer 1

一般说明 - 线性可分性的概念适用于二进制数据集，而不适用于10个类。如果您有两个以上的类，则不存在线性可分性，因为您可以通过多种方式对其进行定义。为了答案的其余部分，我将假设我们正在谈论＆＃34;成对线性可分离＆＃34;，这意味着如果您选择任何两个类，它们可以彼此线性分离（请注意，这是一个与一对一线性可分性不同，因为存在一对一线性可分的数据集，并且不是一对一线性可分离的。）

首先检查数据是否可线性分离不使用交叉验证。只需将您的模型与整个数据相匹配并检查错误，就不需要进行训练/验证/测试分割，训练所有内容 - 测试所有内容。实际上，进行交叉验证会使其错误，因为您可以获得100％而没有线性可分性（只要您足够幸运，以每个测试子集可线性分离的方式分割数据）。 / p>

其次关闭正规化。＆＃34; C＆＃34;在SVM中，它并不困难＆＃34;，硬SVM等同于具有C =无穷大的SVM，因此设置C = 100000以具有至少一些相当大的分离概率。这同样适用于sklearn中的逻辑回归，它也有一个超参数C，将其设置为1000000（基本上是任何巨大的）然后重新训练。

检查我的数据是否可线性分离

1 个答案: