如何在逻辑回归成本函数中表示假设函数

时间:2015-11-11 17:07:09

标签: math machine-learning symbolic-math logistic-regression

下面是逻辑回归成本函数,其中包含特征(x),训练样例(y)

enter image description here

如何表示假设的功能(带圆圈的红色)? :enter image description here

我试图实现这个功能,但不确定该假设应该采用什么价值(或功能)?

1 个答案:

答案 0 :(得分:3)

逻辑回归中的激活函数是 sigmoid函数https://en.wikipedia.org/wiki/Sigmoid_function),定义为

enter image description here

这也是y对给定x取1值并且确定参数θ的概率(sigmoid总是在0和1之间)

您提到的成本函数来自训练(X,y)对的最大似然估计https://en.wikipedia.org/wiki/Maximum_likelihood)。任何(X,y)对的对数似然正好

enter image description here

最终损失函数恰好是所有(X, y)训练对的所有对数似然的总和。

因此,你所说的''假设“只是sigmoid,1/(1+exp(-theta * x))(实际上我不熟悉在这种情况下使用的术语假设,但表达式类似于任何涉及sigmoid和MLE的标准表达式)