使用错误分类数作为反向传播的目标函数

Question

我是机器学习（中性网络）的新手，我有一个问题，请帮我解释一下。 在反向传播中，要最小化的目标函数通常是输出和目标之间的平方误差的总和。但是，在分类问题中，目标通常是最大限度地减少错误分类的总数。为什么这种错误分类总数不能直接用作反向传播的目标函数？

Answer 1

因为数学。我们真的希望尽量减少错误分类的数量，但这个目标不是smooth（甚至不是continuous），因此难以优化。

因此，为了优化它，我们使用平滑的“代理”：平方和以连续的方式惩罚你的错误。也就是说，输入参数的（非常）微小偏差会导致输出的微小变化。如果使用非连续目标函数则不会出现这种情况。

另外，请注意，要查找错误分类，您需要将输出与实际答案进行比较。由于您无法使用==直接比较浮点数的相等性，因此您需要容忍一些错误。并且，当答案的规模大得多时，0.001错过答案真的不是一个大问题。因此，您希望将预测尽可能接近真实答案，并通过最小化从预测到答案的总距离来实现。