我目前正在构建用于原始信号分类的CLDNN(卷积,LSTM,深度神经网络)模型。
由于可训练参数的数量很容易超过数百万,我认为辍学有助于防止过度拟合。
我的问题也适用于堆叠多个模型的其他网络。
如果我的网络结构为
输入 - >卷积 - > LSTM - > DNN - >输出
我是否必须在每一层之后或仅在输出之前放置一个辍学?
或
到目前为止,我只看到赎回应用于convNets,但我不明白为什么它应该只限于convNets。 其他网络(如LSTM和DNN)是否也使用压差来防止过度拟合?
答案 0 :(得分:2)
是的,您可以在每个图层后使用Dropout。
将dropout应用于最后一层(在类上产生概率分布的层)是没有意义的。
不要忘记LSTM是一个周期性模型,因此您必须使用DropoutWrapper类在每个时间步应用dropout。