什么是简单单词中的损失函数？

Question

任何人都可以用简单的词语解释，并可能用一些例子解释机器学习/神经网络领域的损失函数吗？

在我关注Tensorflow教程时出现了这个问题： https://www.tensorflow.org/get_started/get_started

Answer 1

它描述了您的网络产生的结果与预期结果的距离 - 它表示您的模型在其预测中产生的错误幅度。

然后你可以接受这个错误并通过你的模型“反向传播”它，调整它的权重并使它在接下来的时候更接近真相。

Answer 2

损失功能就是你如何惩罚你的输出。

以下示例适用于受监督的设置，即当您知道应该是正确的结果时。虽然即使在无人监督的设置中也可以应用丢失功能。

假设您有一个始终预测的模型1.只是标量值1。

您可以将许多损失功能应用于此模型。 L2是欧氏距离。

如果我传入一些值2，我希望我的模型学习x ** 2函数，那么结果应该是4（因为2 * 2 = 4）。如果我们应用L2损失，则其计算为|| 4 - 1 || ^ 2 = 9。

我们也可以弥补自己的损失功能。我们可以说损失函数总是10.所以无论我们的模型输出什么，损失都是恒定的。

为什么我们关心损失功能？那么他们确定了模型在反向传播和神经网络方面做得多么糟糕。它们还确定要传播的最终层的渐变，以便模型可以学习。

正如其他评论所暗示的那样，我认为你应该从基本材料开始。这是开始http://neuralnetworksanddeeplearning.com/

的良好链接

Answer 3

值得一提的是，我们可以说不同种类的损失函数： 回归损失函数和分类损失函数。

回归损失函数描述模型预测的值与标签的实际值之间的差异。

因此，当我们在单个时间点将预测与标签进行比较时，损失函数对标签数据具有意义。

此损失函数通常称为误差函数或误差公式。

我们用于回归模型的典型误差函数是L1和L2，Huber损失，分位数损失，对数cosh损失。

注意：L1损失也称为平均绝对误差。 L2损失也称为均方误差或二次方损失。

Loss functions for classification代表因分类问题中的预测不准确而付出的代价（确定特定观测值属于哪个类别的问题）。

举几个例子：对数损失，焦点损失，指数损失，铰链损失，相对熵损失等。

注：虽然在回归中更常用，但是平方损失函数可以重写并用于分类。

Answer 4

损失函数的定义： 令（X，A）是可测量的空间，Y⊂R是一个封闭的子集。然后函数L：X×Y×R→[0，∞）称为损失函数， 或只是损失，如果可以衡量。

在下文中，我们将 L（x，y，f（x））解释为成本或损失 如果观察到 x ，则通过 f（x）预测 Y ，即值 L（x，y，f（ x））是， f（x）更好地预测 L 的意义。从中可以看出这一点 常量损失函数，例如 L：= 0，对我们来说毫无意义 目的，因为他们不区分好的和坏的预测。 现在让我们从介绍中回顾一下，我们的主要目标是拥有 对于未来看不见的观察，平均损失很小（x，y）。