神经网络的精度图波动很大

Question

我制作了一个神经网络，其结构如下：

它有两个合并的两个分支。一个分支将矩阵作为卷积网络的输入，另一分支是将向量作为输入的完全连接的层。这两个分支合并并发送到完全连接的层，然后发送到输出层。我的网络运行，但是，我得到以下图表：

出于准确性：

损失：

我认为损失图表还可以。但是准确性的乐趣起伏很大。我的整体准确度是60％。您认为这些图表暗示拟合不足或正常吗？见识将不胜感激。

Answer 1

由于批量培训而出现波动是一种常见的行为。当且仅当将神经网络馈入整个数据集时，才能获得完美的平滑损耗图/精度提高（从计算角度来看这是不可能的）。

当训练损失增加时，验证准确性降低，这是一个好兆头。最后一张图以及我以前的观察结果消除了过度拟合的可能性（至少在开发集上）。

这些图看起来并不与众不同（除了我已经提到的那些峰值，在批处理训练中将其包含是正常的）

未必合适的情况。如果在两个分支上（甚至在一个分支上甚至在一个分支上）使用更复杂的神经网络都能获得更好的结果，那么这意味着情况不佳。

但是，这种拟合不足现象与您在图表上看到的尖峰无关。

希望这可以帮助您解决问题：）