深度学习 - CLDNN(多模型神经网络)辍学

时间:2017-01-20 20:40:31

标签: tensorflow deep-learning lstm

我目前正在构建用于原始信号分类的CLDNN(卷积,LSTM,深度神经网络)模型。

由于可训练参数的数量很容易超过数百万,我认为辍学有助于防止过度拟合。

我的问题也适用于堆叠多个模型的其他网络。

如果我的网络结构为

输入 - >卷积 - > LSTM - > DNN - >输出

我是否必须在每一层之后或仅在输出之前放置一个辍学?

输入 - >卷积 - >辍学 - > LSTM - >辍学 - > DNN - >辍学 - >输出

输入 - >卷积 - > LSTM - > DNN - >辍学 - >输出

到目前为止,我只看到赎回应用于convNets,但我不明白为什么它应该只限于convNets。 其他网络(如LSTM和DNN)是否也使用压差来防止过度拟合?

1 个答案:

答案 0 :(得分:2)

是的,您可以在每个图层后使用Dropout。

将dropout应用于最后一层(在类上产生概率分布的层)是没有意义的。

不要忘记LSTM是一个周期性模型,因此您必须使用DropoutWrapper类在每个时间步应用dropout。