我正在进入Deeplearning4j,正处于需要完善LSTM培训但又遇到了飞行障碍的阶段。
到目前为止,我的工作基于Deeplearning4j中的各种时间序列预测示例。我能够使用DataSet训练LSTM并以某种程度的准确性预测未来的步骤,但不确定如何确保我的配置正确,即我没有过度拟合数据。
我一直在使用Deeplearing4j UI来帮助理解培训过程,但是我对某些指标有些困惑。我想知道是否有人可以澄清概述页面左上角硬图表中的摘要和得分线之间的区别?我在下面提供了这张图片。这些是否与训练和验证错误相关联,从而可以识别出数据的过度拟合/不足?
如果不是,那么提取此信息并诊断LSTM的任何问题的最佳方法是什么?我已经看到了Evaluation类的用法,但不确定ui插件是否已完成此操作?此外,如果需要评估类,是否有任何方法可以将其集成到UI插件中以便轻松显示?
我还使用了DataSet而不是DataSetIterator,这在使用Evaluator类时可能会引起问题,因为我看不到使用普通DataSet评估网络的方法。
我的最后一个问题是更多关于常规时间序列训练的问题。我知道要对我的网络进行有用的评估,将使用训练数据的一部分。例如,70%用于培训,30%用于评估。就时间序列数据而言,这可能有问题吗?如果不是在培训过程中使用了所有数据,则可能意味着LSTM无法了解最新的相关趋势,从而无法很好地完成工作。使用Depplearing4j进行时间序列预测时,通常如何解决?
任何帮助将不胜感激!