训练集和测试集的准确性突然下降,损失突然增加,但逐渐恢复

时间:2018-09-05 07:22:11

标签: python tensorflow

在训练LSTM模型的过程中,我最初将学习率固定为0.0001,但在训练过程中会周期性地出现损失增加和准确性下降的情况,如下图所示。 enter image description here

我认为有一个不好的示例,但是我在多个库上都有这个问题。我考虑使用学习速率衰减并修改Adam优化器的beta值。尽管解决了这种冲击,但性能将大大降低。

enter image description here

所以我想问以下问题: 1.为什么我可以通过修改beta来解决此问题,但会导致准确性下降? 2.如果样本不好,为什么在多个数据库中都有此问题? (ps:我可能以相同的方式提取特征,也许是因为这样吗?)这是模型的原因吗? 3.如果要删除不良样本该怎么办?

1 个答案:

答案 0 :(得分:0)

我认为有2点:1.如果使用过BN,请检查BN的参数设置。 2.-https://discuss.gluon.ai/t/topic/3386