二元分类成本函数，神经网络

Question

我一直在调整深度学习tutorial以训练二元分类问题的Logistic回归模型的权重，本教程使用下面的负对数似然成本函数...

self.p_y_given_x = T.nnet.softmax(T.dot(input, self.W) + self.b)

def negative_log_likelihood(self, y):  
    return -T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y])

然而，我的权重似乎没有正确收敛，因为我的验证错误在连续的时期内增加。

我想知道我是否正在使用适当的成本函数来收敛适当的权重。注意我的两个类非常不平衡并且我的预测变量已经标准化可能是有用的

Answer 1

我能想到的几个理由是：

1. 您的学习率过高

2. 对于二进制分类，请尝试平方误差或交叉熵误差，而不是负对数似然。

3. 您只使用一个图层。可能是您正在使用的数据集需要更多图层。所以连接更多隐藏层。

4. 使用图层数和隐藏单位。