在张量流对象检测中找到最佳学习率

Question

我想使用Tensorflow对象检测API搜索最佳学习率。但是在配置文件中，我找不到任何东西。我可以添加schedule，但是它无法搜索最佳学习率。

learning_rate: {
            manual_step_learning_rate {
              initial_learning_rate: 0.003
              schedule {
                step: 6000
                learning_rate: .0003
              }
              schedule {
                step: 12000
                learning_rate: .00003
              }

是否有任何技巧或方法来寻求最佳学习率。

Answer 1

如果您参考学习率查找器（例如Smith在这里https://arxiv.org/abs/1803.09820所描述的那样），则似乎可以使用以下方法来模仿它：

learning_rate: {
    exponential_decay_learning_rate {
          initial_learning_rate: 0.004
          decay_steps: 10000
          decay_factor: 1.3
    }
}

其衰减系数大于1。

尽管如此，您仍然需要自己考虑损失并选择最佳的学习率。