我们可以使用正态方程进行Logistic回归吗？

Question

就像我们使用Normal Equation找出线性回归中的最佳θ值一样，我们能否/不能使用类似的Logistic回归公式？如果没有，为什么？如果有人能解释其背后的推理，我将不胜感激。谢谢。

Answer 1

不幸的是，没有，分类理论中只有一种判别方法具有闭合形式解 - 线性回归...（线性判别分析/ fischer判别是生成性的，甚至由于拟合分布极其简单而具有闭合形式解决方案） 。

一般来说，即使对于线性回归，它也“有效”，这被认为是一个奇迹。据我所知，几乎不可能证明“你不能以封闭的形式解决后勤谴责”，但一般的理解是，情况永远不会如此。你可以做到这一点，如果你的功能只是二进制，并且你的功能很少（因为解决方案的功能数量呈指数级），这在几年前已经展示过，但在一般情况下 - 它被认为是不可能的。

那为什么线性回归效果如此之好？因为一旦你计算了你的导数，你就会注意到，产生的问题是线性方程组，m个具有m个变量的方程，我们知道它可以通过矩阵求逆（和其他技术）直接求解。当你区分逻辑回归成本时，产生的问题不再是线性的......它是凸的（因此是全局最优的），但不是线性的，因此 - 当前的数学并没有为我们提供足够强大的工具来找到封闭形式的最优解

Answer 2

是的，如果我们开发一个数学模型来求解成本函数的微分形式，那么线性回归的情况就是“矩阵”及其逆。但是目前尚无此类工具可用。所以到目前为止，没有。