在Python中设置CNTK中的learningRateMultiplier

时间:2017-04-06 17:39:47

标签: cntk

我正在加载一个预先训练好的网络,并希望更改/设置" learningRateMultiplier"适用于各种层次。我在使用Brainscript之前已经完成了这个(链接见下文),但现在需要在Python中做到这一点。这支持吗?或者在Python中是否还有其他方法来设置每层特定的学习率?

Brainscript: https://github.com/Microsoft/CNTK/wiki/Parameters-And-Constants

给出一些背景信息:我想微调快速R-CNN训练中的所有层,包括转换层。然而,过去的实验表明,与fc层相比,这需要更小的学习率(可能是由于所有ROI的梯度相加或以其他方式组合)。

谢谢, 帕特里克

1 个答案:

答案 0 :(得分:1)

除非有更好的替代曲面,否则我建议创建两个具有不同学习率和parameters参数不相交的learners。您可以向模型Trainer提供包含多个学习者的列表,该列表应在培训期间协调其使用。