Question

版本：chainer 2.0.2 我使用Adam优化器，然后报告错误，我发现它是由这段代码引起的（fix1 == 0？）：在adam.py中：

@property
    def lr(self):
        fix1 = 1. - math.pow(self.hyperparam.beta1, self.t)
        fix2 = 1. - math.pow(self.hyperparam.beta2, self.t)
        return self.hyperparam.alpha * math.sqrt(fix2) / fix1

错误日志：

Traceback (most recent call last):
  File "AU_rcnn/train.py", line 237, in <module>
    main()
  File "AU_rcnn/train.py", line 233, in main
    trainer.run()
  File "/root/anaconda3/lib/python3.6/site-packages/chainer/training/trainer.py", line 285, in run
    initializer(self)
  File "/root/anaconda3/lib/python3.6/site-packages/chainer/training/extensions/exponential_shift.py", line 48, in initialize
    self._init = getattr(optimizer, self._attr)
  File "/root/anaconda3/lib/python3.6/site-packages/chainer/optimizers/adam.py", line 121, in lr
    return self.hyperparam.alpha * math.sqrt(fix2) / fix1
ZeroDivisionError: float division by zero

Answer 1

使用“alpha”属性控制Chainer中Adam的学习率。 “lr”被定义为内置属性，不应该被其他值覆盖。

如果您使用ExponentialShift优化程序，请将“alpha”设置为Adam（official doc）的属性以及衰减学习率。

from chainer.optimizers import Adam
optimizer = Adam(alpha=0.001)

# --- Define trainer here... ---

trainer.extend(extensions.ExponentialShift("alpha", 0.99, optimizer=optimizer), trigger=(1, 'epoch'))

Answer 2

我有同样的问题，并尝试过corochann的方法。然而，它没有解决这个问题。

我的chainer版本2.1.0 使用的代码为https://github.com/chainer/chainer/blob/master/examples/cifar/train_cifar.py 将L57改为“optimizer = chainer.optimizers.Adam（）”。

关于chainer的Adam优化器报告错误？

2 个答案: