Caffe中暹罗网络的重量更新

Question

关注此网站

  

http://caffe.berkeleyvision.org/gathered/examples/siamese.html

， 我可以在Caffe中使用Siamese网络，它共享每层的权重。

但是，我想知道Caffe中的Siamese网络如何更新他们的共享权重。 具体来说，如果我们有

  

input1 - ＆gt; conv1（共享） - ＆gt;输出1

     

input2 - ＆gt; conv1（共享） - ＆gt; output2 ===＆gt;对比损失（来自output1和output2），

那么，Caffe能否从第一和第二个网络中总结出conv1的两个渐变？

感谢您提前回复。

Answer 1

你是对的，共享权重（具有相同名称的所有参数）的差异（渐变）被累积。 请注意，您不能对共享权重使用不同的学习速率乘数（lr_mult）。动量和重量衰减等其他功能应该像预期的那样工作。