了解LSTM的损耗曲线

时间:2017-11-15 18:13:56

标签: lstm recurrent-neural-network rnn

我目前正在培训带有EEG数据的多层LSTM进行分类。我有一个数据集,包括3315个训练样例(并非所有独立的,它们都有重叠)每个班级和4个班级。 LSTM的设计就是以这种方式构建的。 LSTM1接收与时间相同的输入,LSTM2接反向。 LSTM3接受在时间方向上连接在一起的先前LSTM的输出。该网络使用学习率为2 * 1e-5的Adam Optimizer。我还使用了keep_probability = 0.1的LSTM单元输出中的压降。损失和准确性显示以下行为(下图),我无法理解。上图是损失,下图是准确度。损失是交叉熵损失。每个数据帧是250个向量的序列,每个向量大小为198. LSTM1和2有100个隐藏神经元,LSTM3有200个隐藏神经元(由于连接而大小加倍)。

Upper graph is loss, below graph, is accuracy

我觉得过度拟合开始于纪元100和纪元150之间。我的结论是否正确?我对此表示怀疑,因为后来的损失减少了。我应该运行更多的时代吗?

您有什么建议可以帮助提高性能吗?我觉得有提高性能的余地,因为EEG是连续的数据,当输入完全相同的数据时卷积神经网络的准确率接近68%。任何见解都表示赞赏!

谢谢。

0 个答案:

没有答案