如果我们不解决成本函数的误差，会发生什么？
例如，在逻辑回归中，我们对成本函数进行平方。
答案 0 :(得分：3)
我不太熟悉逻辑回归，因为我更像是一个深度学习的人，但我会对你的问题采取一些措施。 首先，我们需要指定一些东西。您在谈论什么成本函数以及您正在使用哪种机器学习模型？在机器学习的每个学科中，根据问题有很多合适的误差函数，它们可以是平方或不平方。
你提到了逻辑回归中的平方值...但是使用平方和与MLE模型有很多利弊，讨论here。对于另一个主题中的示例，存在对值（MSE）求平方的神经网络成本函数，以及不对（Cross Entropy）求值的神经网络成本函数。 无论如何，有一些共同的主题描述何时适合在成本函数中平方值。作为（非常）一般规则，您希望在变量连续且具有可定义的距离度量时对其进行平方。
让我们说我试图预测数字线上的点数。如果我预测值linediv[-1]，并将它们与y_predicted进行比较，那么我确切地知道我在该1D距离方面的距离。这是一个连续的错误指标，这意味着我不想通过离散化来丢失信息。此外，在那里放置一个正方形意味着我避免处理在求和期间可能相互抵消的正值和负值。最后，平方值强调异常值，同时略微忽略较小的错误，这在某些情况下会有所帮助。
长话短说，这取决于你的问题的范围。希望有一个更简单的解决方案，但这就是它的原因。