Keras是否有关注层？

Question

我将为LSTM神经网络实现注意力机制。我使用了这一层（https://pypi.org/project/keras-self-attention/），但是它增加了错误！也许是因为我的数据集，但是类似的研究在注意力层面上却获得了更高的准确性。您能否介绍一下另一种易于使用的在Keras中实现注意力的方法？

谢谢

Answer 1

您可以使用TensorFlow Keras模块tf.keras.layers.Attention。假设您正在使用TensorFlow 2.0。

您在此处了解更多信息：https://www.tensorflow.org/api_docs/python/tf/keras/layers/Attention?version=stable

Answer 2

注意力不一定总能提高分数。它们在处理越来越长的输入时变得非常方便。

如果您使用的是LSTM，我不建议您使用tf.keras.layers。请注意，因为此类更适合CNN，DNN。

只需几行代码，您可以添加自己的自定义注意层，例如：Custom Attention Layer using in Keras