火车损失和火车错误有什么区别？

Question

我的一位教授给了我一个小脚本，他用它来描绘每个学习时代后神经网络的演变。这是3个值的图：火车损失，列车错误和测试错误。

前两个有什么区别？

Answer 1

要了解错误和损失之间的区别，您需要了解神经网络的学习方式。为了能够学习，必须存在连续的可微分损失函数以便使用反向传播算法。所以损失值是这个函数的值。有时这种损失正是您想要最小化的（例如，在回归情况下模型与真实函数之间的距离）但有时您的误差测量不是连续的，或者无法区分它然后您必须引入另一种不同的损失功能。一个很好的例子是二进制分类任务，其中精度误差是不可微分的。您通常使用交叉熵或铰链损失以提高准确性。在这种情况下，您的错误将为1 - accuracy，而损失将为例如crossentropy。

Answer 2

Train Loss: Value of the objective function you are minimizing. This value could be a positive or negative number, depending on the specific objective function.

Train Error: Human interpretable metric of your model's performance. Usually means what % of training examples the model got incorrect. This is always a value between 0 and 1.