神经网络的高可变性损失

Question

我在每个时代之间的准确度和损失方面都有很高的变异性，高达10％。它始终是我的准确性，当我开始添加辍学时我的损失。但是我真的需要辍学，关于如何解决它的任何想法？

Answer 1

在不知道你做什么的情况下很难说具体内容。但是因为你提到你的数据集非常小：500个样本，我说你的10％性能跳跃并不奇怪。还有一些想法：

• 如果可以，肯定会使用更大的数据集。如果无法收集更大的数据集，请尝试增加您拥有的任何数据集。
• 尝试更小的辍学并看看它如何发展，尝试不同的正规则（辍学不是唯一的选择）
• 您的数据很小，您可以承担超过200次迭代的费用
• 了解您的模型在测试集上的表现如何，它可能会严重过度拟合数据

Answer 2

除了数据集非常小的事实之外，在具有丢失正则化的训练期间，损失函数不再被很好地定义，并且我认为精度也是有偏差的。因此，任何跟踪的指标都应该在没有辍学的情况下进在训练期间计算准确度时，keras不会将其关闭。