Caffe中的交叉熵实现

Question

查看sigmoid_cross_entropy_loss_layer.cpp中的源代码，这是caffe中交叉熵丢失函数的源代码，我注意到实际错误值的代码是

  for (int i = 0; i < count; ++i) {
    loss -= input_data[i] * (target[i] - (input_data[i] >= 0)) -
        log(1 + exp(input_data[i] - 2 * input_data[i] * (input_data[i] >= 0)));
  }

这似乎与我在此处找到的Caffe或C ++实现文档中的CE损失函数有很大不同：

https://visualstudiomagazine.com/Articles/2014/04/01/Neural-Network-Cross-Entropy-Error.aspx?Page=2

或实际上是CE损失函数的定义。

这是某种近似吗？我首先想到的是泰勒系列扩展log⁡（1-x），但它根本不起作用。

Answer 1

此图层实现的损失不仅仅是 交叉熵。该层实现Sigmoid激活，然后是交叉熵损失。这样可以在数值上更稳定地实现损失。

有关详细信息，请参阅this thread。 还this thread。