Question

我正在阅读A Tutorial on Energy Based Learning，我试图理解上面在SVM背景下所述的所有术语之间的区别。这个link总结了损失，成本和目标函数之间的差异。根据我的理解，

目标函数：我们想要最小化的东西。例如，||w||^2用于SVM。

损失函数：预测和标签之间的惩罚，也等同于正则化项。示例是SVM中的铰链损失函数。

成本函数：结合了目标和损失函数的一般公式。

现在，第一个链接表明铰链函数是max(0, m + E(W,Yi,Xi) - E(W,Y,X))，即它是能量项的函数。这是否意味着SVM的能量函数是1 - y(wx + b)？能量函数是否是损失函数的一部分。损失+目标函数是成本函数的一部分吗？

这4个术语的简明总结将极大地帮助我理解。另外，如果我的理解是错误的，请纠正我。这些术语听起来很混乱。谢谢！

Answer 1

目标函数：我们想要最小化的东西。例如|| w || ^ 2表示SVM。

目标函数 - 顾名思义 - 优化目标。它可以是我们想要最小化的东西（如成本函数）或最大化（如可能性）。一般来说 - 衡量当前解决方案有多好的函数（通常通过返回实数）

损失函数：预测和标签之间的惩罚，也等同于正则化项。示例是SVM中的铰链损失函数。

首先，在任何意义上，损失都不等同于正规化。损失函数是模型和真理之间的惩罚。这可以是类条件分布与真实标签的预测，因此也可以是数据分布与经验样本等等。

正则化

正规化是一个术语，惩罚，衡量标准，应该是过于复杂的模型的惩罚。在ML中，或者通常在处理估算器时的统计中，你总是试图平衡两个误差来源 - 方差（来自过于复杂的模型，过度拟合）和偏见（来自太简单的模型，糟糕的学习方法，欠拟合）。正则化是一种在优化过程中惩罚高方差模型的技术，以便减少过度拟合。换句话说 - 对于能够完美地适应训练集的技术，重要的是要有一个禁止它的措施，以保持概括的能力。

成本函数：结合了目标和损失函数的一般公式。

成本函数只是一个目标函数，其中一个最小化。它可以由一些损失函数和正则化器组成。

现在，第一个链接指出铰链函数是max（0，m + E（W，Yi，Xi）-E（W，Y，X）），即它是能量项的函数。这是否意味着SVM的能量函数是1 - y（wx + b）？能量函数是否是损失函数的一部分。损失+目标函数是成本函数的一部分吗？

铰链损失为max(0, 1 - y(<w,x> - b))。这里定义的不是SVM，但对于一般因子图，我强烈建议从基础而不是从高级技术开始学习ML。如果不能很好地理解ML的基础知识，那么本文将无法理解。

显示SVM和命名约定的示例

C SUM_i=1^N max(0, 1 - y_i(<w, x_i> - b)) + ||w||^2

            \__________________________/    \_____/
                         loss            regularization
\_________________________________________________/
            cost / objective function

SVM - 能源与损失与正则化与成本函数之间的差异

1 个答案: