支持向量机原始形式实现

Question

我目前正在研究支持向量机（SVM）项目。我正在处理的SVM版本是Linear SVM in Primal Form，我很难理解从哪里开始。

总的来说，我认为我理解这个理论;基本上我需要在一定约束下最小化w的范数。拉格朗日函数将是我的最小化目标函数（应用拉格朗日乘数后）。

我不明白的是，我的教授告诉我，我们将使用Quasi-Newton方法和BFGS更新。我已经尝试了牛顿方法的2D和3D情况，我认为我已经很好地掌握了算法，但我没有看到如何应用Quasi-Newton方法来找到系数α。此外，我到目前为止阅读的许多文献都说应用二次规划来找到系数。

准牛顿的迭代算法如何与找到w ...的系数相关？二次规划与准牛顿有什么关系？有人可以带我了解正在发生的事情吗？

Answer 1

你在这里讨论很多事情

• “alpha coefficient”仅在双重格式中 ，因此您在您的案例中找不到
• “应用二次规划”，二次规划是问题，而不是解决方案。你不能“应用QP”，你只能解决一个QP，在你的情况下将使用准牛顿法解决
• “如何（...）与找到w的系数”完全相同，因为这种优化技术与找到任何函数的最佳系数有关。您将最小化w 的函数，因此应用任何优化技术（特别是准网络）将导致解决方案表示为 w 系数