Caffe - Reccurrent神经网络 - 共享权重导致NAN

时间:2018-03-27 02:36:14

标签: neural-network computer-vision deep-learning caffe recurrent-neural-network

我正在尝试训练一个递归神经网络,其中输入是一个图像,输出是一个概率blob。非常简单的网络,Convolution,Pooling和Relu。

我有一组卷积/ relu块,重复几次以获得更清晰的blob。如果我不使用共享权重,我可以成功训练,但如果我这样做,训练总是会产生NAN。使用共享权重来预防Nans时是否需要注意哪些特殊注意事项?这可能是我为每个Conv块设置的学习率吗?共享权重的学习率应该更小吗?

0 个答案:

没有答案