我想使用LSTM构建时间序列预测模型,
在中间层应使用哪个激活功能?
线性激活功能对最终层还是输出层有用吗?
我正在对输入数据进行范围(0,1)归一化,并在预测后进行逆归一化。
这是我的模特:
[Total Still Due]
在这里,我在中间层使用了“ relu”,在输出层使用了线性激活。 这种方法是正确的,还是在中间层,我也应该尝试使用tanh和Sigmoid。
答案 0 :(得分:0)
警告语:这是我的主观印象,大部分(但不完全)得到科学研究的支持。
我可以验证ReLU及其衍生物(PReLU,Leaky ReLU等)过去为我带来了最佳结果。
如果可以承受的话,可以通过尝试使用哪种实现来为您带来最佳结果。
答案 1 :(得分:0)
在遇到ur问题的情况下,由于大部分时间都可以使用ReLU,它会不断增加ur功能的非线性性
答案 2 :(得分:0)
对于深度学习模型,ReLU作为激活函数要好得多。这可以在[0,1]范围内规范化您的输入和输出,并增加非线性
答案 3 :(得分:-1)
事实证明,Re-Lu是激活功能的关键