咖啡损失似乎没有减少

Question

我的一些参数

base_lr: 0.04
max_iter: 170000
lr_policy: "poly"
batch_size = 8
iter_size =16

这就是培训过程直到现在的样子：

这里的损失似乎停滞不前，这里有问题还是正常？

Answer 1

我的解决方案是将基础学习率降低10倍，然后从solverstate快照恢复训练。

要自动实现相同的解决方案，您可以设置＆＃34; gamma＆＃34;和＆＃34;步骤＆＃34; solver.prototxt中的参数：

base_lr: 0.04
stepsize:10000
gamma:0.1
max_iter: 170000
lr_policy: "poly"
batch_size = 8
iter_size =16

这会使您的base_lr每10,000次迭代减少10倍。

请注意，损失在值之间波动是正常的，甚至在下降之前徘徊在恒定值附近。这可能是你的问题的原因，我建议训练远远超过1800次迭代，然后再回到上述实现。查看caffe火车损失日志的图表。

此外，请将所有未来问题直接发送至caffe mailing group。这是所有咖啡问题和解决方案的中心位置。

我自己也在努力解决这个问题，在我弄明白之前没有找到任何解决方案。希望对我有用的东西会对你有用！