在keras的梯度剪报

Question

我使用Keras完全实现了LSTM RNN，我想使用梯度范围限制为5的渐变剪辑（我试图重现一篇研究论文）。关于实现神经网络，我是一个初学者，我该如何实现呢？

只是（我正在使用rmsprop优化器）：

 sgd = optimizers.rmsprop(lr=0.01, clipnorm=5)

 model.compile(optimizer=sgd,
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])

Answer 1

根据official documentation，任何优化器都可以具有可选参数clipnorm和clipvalue。如果提供了clipnorm，则只要梯度范数超过阈值，就会剪切梯度。