Question

我有一个LSTM模型，专为多分类问题而设计。训练时，准确度为1.00。但仍然会带来小的损失价值。这是什么意思？正确预测所有目标。为什么损失值不能为零？

adadelta = Adadelta(clipnorm=1.)
model.compile(optimizer=adadelta,
              loss='categorical_crossentropy',
              sample_weight_mode='temporal',
              metrics=['accuracy'])

损失值如下所示。

Epoch 12/12
1000/1000 [==============================] - 38s - loss: 1.2053e-04 - acc: 1.0000

Answer 1

网络正在优化损失。在你的情况下，损失是分类的交叉熵。分类测量正确概率的对数值。

对于您的网络预测的一个样本y_pred，y_true是真正的目标值，它就是这样的：y_true是二进制的，因为您想要预测它是否属于某个类是否y_pred是0到1之间的浮点数，您可以将其解释为属于该类的概率。

一个样本的公式是：

loss_sample = y_true * ln(y_pred) + (1-y_true) * ln(1-y_pred)

因此，如果y_true为1（样本属于该类），则loss_sample = ln(y_pred)如果y_true为0，则为loss_sample = ln(1-y_pred)。这是有道理的，因为如果y_true为1，您希望您的损失尽可能小，因此您希望y_pred为1.如果y_true为0，那么您的损失将减少，如果1-y_pred接近1，所以如果y_pred为0。

对于准确度，如果所有样本都具有属于正确等级的概率高于0.5阈值，则它将等于1。

这意味着，如果您的训练集包含3个样本和目标y1 = 1，y2 = 0，y3 = 1，并且您预测y1_hat = 0.6，y2_hat = 0.2，{ {1}}。那么你的准确率将是100％，但你的损失将是y3_hat = 0.9非零。

总结：您预测属于某一类的概率，该损失计算正确的置信度，而准确性只是根据预测来削减决策而不考虑置信度。

您可以获得完美的准确度分数，因为您的网络做出了正确的决定，但由于您的网络对结果没有完全的信心，因此会有正面损失。

更清楚了吗？

categorical_crossentropy返回小损失值，即使keras

1 个答案: