时间序列预测模型应使用哪个激活函数?

时间:2019-12-04 16:55:06

标签: neural-network deep-learning time-series lstm recurrent-neural-network

我想使用LSTM构建时间序列预测模型,

  

在中间层应使用哪个激活功能?

     

线性激活功能对最终层还是输出层有用吗?

我正在对输入数据进行范围(0,1)归一化,并在预测后进行逆归一化。

这是我的模特:

[Total Still Due]

在这里,我在中间层使用了“ relu”,在输出层使用了线性激活。 这种方法是正确的,还是在中间层,我也应该尝试使用tanh和Sigmoid。

4 个答案:

答案 0 :(得分:0)

警告语:这是我的主观印象,大部分(但不完全)得到科学研究的支持。

我可以验证ReLU及其衍生物(PReLU,Leaky ReLU等)过去为我带来了最佳结果。

如果可以承受的话,可以通过尝试使用哪种实现来为您带来最佳结果。

答案 1 :(得分:0)

在遇到ur问题的情况下,由于大部分时间都可以使用ReLU,它会不断增加ur功能的非线性性

答案 2 :(得分:0)

对于深度学习模型,ReLU作为激活函数要好得多。这可以在[0,1]范围内规范化您的输入和输出,并增加非线性

答案 3 :(得分:-1)

事实证明,Re-Lu是激活功能的关键