为什么Adam解算器的损耗值在100k次迭代后会逐渐增加?

时间:2018-12-05 09:32:11

标签: caffe pycaffe matcaffe

我已经用SGD训练了CNN,并且训练得很好。但是,一旦我用Adam解算器训练了模型,几乎100k迭代之后,它就开始增加损耗值。你能帮我解释一下吗?

Import and export process configuration

以下显示了solver.prototxt

momentum: 0.99
momentum2: 0.999  #+
test_interval: 1000
test_iter: 40
weight_decay: 0.0005
base_lr:       0.0001

0 个答案:

没有答案