Question

我正在尝试使用此函数的渐变： loss function （N - 对象，m - 特征）。

def L(y,X,w): #loss function return np.sum( np.log1p(np.exp(np.dot(w,(-X.T*y)))) )

以下是我对偏导数的计算：analytic gradient

def g(y,X,w): #gradient return (-X.T*y).dot(1-1/(1+(np.exp(np.dot(w,(-X.T*y))))))

当我为渐变实现数值估计时，它具有与分析不同的值，所以我可能做错了计算。

渐变检查：

e = 1e-4
test =(np.array([0.6, -0.2]),   #y
 np.array([[3,8.5], [1,-5]]),   #X 
 np.array([-1,0.4]))   #w


grd = np.ones((ss[1].shape[1],))
loss1 = L(test[0],test[1],test[2][0]-e)
loss2 = L(test[0],test[1],test[2][0]+e)
grd[0] = (loss2-loss1)/(2*e);
loss1 = L(test[0],test[1],test[2][1]-e)
loss2 = L(test[0],test[1],test[2][1]+e)
grd[1] = (loss2-loss1)/(2*e);

print('\ngrd num: ',grd)
print('\ngrd analyt: ',g(test[0],test[1],test[2]))

grd num：[ - 7.25478847 -1.47346219]

grd analyt：[ - 0.72164669 -2.59980408]

我犯了错误？

Answer 1

分析梯度计算中存在错误：

def g(y,X,w):   #gradient
    return  (-X.T * y).dot(1 - 1 / (1 + (np.exp(np.dot(w,(-X.T * y))))))

右边是：

def g(y,X,w):
    return (-X.T * y).dot(1 / (1 + (np.exp(np.dot(w,(X.T * y))))))

逻辑回归的梯度有什么问题？

1 个答案: