如何在使用交叉熵时处理log（0）

Question

为了使案例简单直观，我将使用二进制（0和1）分类进行说明。

损失功能

loss = np.multiply(np.log(predY), Y) + np.multiply((1 - Y), np.log(1 - predY)) #cross entropy
cost = -np.sum(loss)/m #num of examples in batch is m

Y的可能性

predY使用sigmoid计算，logits可以被认为是在到达分类步骤之前来自神经网络的结果

predY = sigmoid(logits) #binary case

def sigmoid(X):
    return 1/(1 + np.exp(-X))

问题

假设我们正在运行前馈网络。

  

输入：[3,5]：3是示例数，5是特征尺寸（伪造数据）

     

隐藏单位数：100（仅1个隐藏图层）

     

迭代次数：10000

这种安排会过度拟合。当它过度拟合时，我们可以完美地预测训练样例的概率;换句话说，sigmoid输出1或0，确切的数字，因为指数会爆炸。如果是这种情况，我们会 np.log(0)未定义。你通常如何处理这个问题？

Answer 1

如果你不介意对scipy的依赖，你可以使用scipy.special.xlogy。您将替换表达式

np.multiply(np.log(predY), Y) + np.multiply((1 - Y), np.log(1 - predY))

与

xlogy(Y, predY) + xlogy(1 - Y, 1 - predY)

如果您希望predY包含非常小的值，则在第二项中使用scipy.special.xlog1py可能会获得更好的数值结果：

xlogy(Y, predY) + xlog1py(1 - Y, -predY)

或者，知道Y中的值为0或1，您可以用完全不同的方式计算成本：

Yis1 = Y == 1
cost = -(np.log(predY[Yis1]).sum() + np.log(1 - predY[~Yis1]).sum())/m

Answer 2

  

你通常如何处理这个问题？

将小数字（例如1e-15）添加到predY - 此数字不会使预测发生太大，并且它解决了log（0）问题。

BTW如果你的算法输出零和1，那么检查返回概率的直方图可能是有用的 - 当算法确定发生的事情可能是过度拟合的迹象时。

Answer 3

处理log（x）和y / x的一种常见方法，其中x总是非负但可以变为0是添加一个小常量（由Jakub编写）。

您还可以剪辑值（例如tf.clip_by_value或np.clip）。