SVM算法的最优解

Question

我已经在＆＃34; Insight into Data Mining Theory and Practice＆＃34;。

中使用了SVM算法

Page 253 Example 10.1

在此，算法停止，找到Wtranspose X -gama 并发现有3 misclassifications。

告诉accuracy 训练集中的分类器是70%。那就是final optimum solution或者就在那里 在svm完成的任何iteration。 如果是这样，请告诉我从哪里开始迭代以及从哪个数据开始迭代。

Answer 1

SVM以迭代方式进行训练，以便找到全局最优。因此它不会陷入像神经网络等一些次优的解决方案中，但仍然以迭代的方式进行训练，因为对于这样的问题不存在封闭形式的解决方案。需要注意的是，这个最优值是根据最小化SVM优化项来定义的，包含边际大小和误分类计数的加权和，这远远没有实际优化精度（或任何其他评估指标），尽管你可以人为地训练模型，使用RBF内核在训练集上具有100％的准确度，以及非常大的C和gamma，这将迫使你的SVM过度拟合你的数据（这将退化为简单的模型，它只是记忆训练集，并且将是无用的，但你会看到“100％”分数。所以 - 是的 - 培训结果是模型的“最终形式”，准确度低于100％预期。

第二个问题 - “开始迭代”的地方没有意义。在经典方法中，该问题被转换为其双重解释，其中运行SMO算法以便在拉格朗日多玩家的线性有界子空间上找到凸函数的最优。并且迭代经历了违反KKT最优性条件的点，因此这些指向“从...开始”。