如何在机器学习中决定成本函数？

Question

我是ML的新手，我刚刚学会了线性回归和逻辑回归。 我想知道这些成本函数是如何决定的，这些是如何得出的？我们如何知道这些成本函数适用于特定问题？

换句话说，我不确定这些成本函数如何被证明是准确的并且适用于特定问题。我们有时会在ML中随时提出自己的成本函数吗？

Answer 1

在ML的正确方法中，您可以从要解决的问题开始。一旦遇到问题，你应该问问自己“我真正关心的是什么？”，“我的任务真的是什么？”并且答案将提供“完美”的损失功能。问题是，通常这种“完美”功能无法直接学习。让我们以分类为例，你想拥有一个可以区分猫和狗的模型。 “完美”损失的一种可能的形式化将是“最小数量的错误答案”。问题是，像这样的功能是不可区分的。模型的参数（或它是可区分的，但提供0渐变）。因此，人们常常寻找行为相似的代理人，但更适合我们的学习方法。如果不是说“最小数量的不正确答案”，而是说“至少有一个不正确答案的最小可能性”，那么对数损失（逻辑回归中使用的那个）就是字面意思。

简而言之，典型的路径是：

1. 问题说明
2. 完美错误度量的定义
3. 根据上述和其他限制选择替代损失

对于许多问题，没有独特的替代选择，因此选择（或从头开始计算）最佳损失是其自身的巨大研究领域。