训练集的平均误差等于测试集的平均误差？

Question

我正在针对图像分类问题培训深度网络（GoogleNet）。我有一个大约7300个图像的数据集，仅在2个类别中标注。

我按照以下比例将训练和验证集分开：0.66 / 0.33。

在训练期间，我计算训练集和测试集上的平均误差，以了解它是如何演变的。

事实上，这两个值总是相等（或者在关闭时）。

所以也许这不是问题，但我没想到会发生这种情况。由于我在训练集上进行训练，我预计训练集上的平均误差始终是我的测试集上的平均误差（即使我希望这两个值收敛到大约相同的值）。

也许有人可以告诉我它是否正常？在预期的情况下，为什么？如果不是，那么对于发生了什么有任何想法？

可能有用的更多信息：我使用迷你批次50，adam优化器，我的损失用tf.nn.softmax_cross_entropy_with_logits（labels = y_，logits = y_predict）计算，我使用0.4的丢失（但是当我计算平均误差我确保它是1）。

谢谢。

Answer 1

这很合理。您将数据划分为来自同一群体的两个随机样本 。是的，考虑到样本的大小，它们应该具有几乎相同的平均值。这是大数定律的一个简单效果：取自同一群体的样本往往具有相同的均值。