我想使用Python实现具有交叉熵的逻辑回归,但是我在实现反向传播时遇到了问题。 我的工作流程是:
1- Gettings输入:x,shape [386,2]。
2-扩展输入集,为了进行非线性分离,我不得不添加二次特征。 X_expanded,shape [386,6]:[feature0,feature1,feature0 ^ 2,feature1 ^ 2,feature1 * feature2,1。]
3-实施逻辑函数:P(w)= 1 /(1 + exp(-Z),Z = wX,w [6,1]
4-交叉熵最小化导致的计算机丢失。
5-反向传播部分: 我想计算损失函数的梯度,并在每个权重上返回L的导数的向量[6]。
我应该实现交叉熵fct的衍生物,以便使用numpy库在每个权重上得到L的导数的向量[6]。