在训练LSTM模型的过程中,我最初将学习率固定为0.0001,但在训练过程中会周期性地出现损失增加和准确性下降的情况,如下图所示。 enter image description here
我认为有一个不好的示例,但是我在多个库上都有这个问题。我考虑使用学习速率衰减并修改Adam优化器的beta值。尽管解决了这种冲击,但性能将大大降低。
所以我想问以下问题: 1.为什么我可以通过修改beta来解决此问题,但会导致准确性下降? 2.如果样本不好,为什么在多个数据库中都有此问题? (ps:我可能以相同的方式提取特征,也许是因为这样吗?)这是模型的原因吗? 3.如果要删除不良样本该怎么办?