在喀拉拉邦，模型损失值是否适合批次或样本的平均值？

Question

这个问题的背景是我正在尝试调试TensorFlow管道。我根据网络的当前预测手动计算每个示例的损失，并对误差项取平均。我得到的数字与Keras报告的数字不同，所以问题是我是否发现了我的错误，或者我是否在计算错误的东西以与报告为“损失”的值进行比较。

Keras到底在计算什么？

Answer 1

训练损失是每个批次更新后训练期间各个批次之间损失值的运行平均值。训练期间权重在变化，因此您无法将这种损失与固定权重进行预测然后计算损失进行比较。

这意味着，如果您计算批次的平均值（甚至是运行平均值），则会得到不同的结果。