注意会改善seq2seq自动编码器的性能吗？

Question

我正在尝试实现RNN自动编码，我想知道注意力是否会改善我的结果。

我的最终目标是建立一个文档相似性搜索引擎，我正在寻找编码文档的方法。

由于我对训练解码器不感兴趣，而对编码器不感兴趣，所以注意力会增加过程的价值吗？

Answer 1

随着序列的长度增加到RNN的容量限制以上，性能将不断下降。

注意力机制允许RNN逐渐将注意力集中在最佳子序列上，因此在最佳情况下，性能不会受到序列最大长度的限制。注意力模型在诸如语言翻译之类的NLP应用中的有效性得到了很好的证实。

在这种情况下，必须要权衡：整个注意力模型是通过梯度下降进行端到端训练的。注意权重形成(len(input_seq), len(output_seq))形状的矩阵，对其进行训练具有二次运行时间。因此，在以下情况下，注意将是最有用的：

1. 序列太长，无法通过常规RNN设置的容量来处理
2. 序列时间不长，以至于二次运行时不值得。

无论如何，都有积极的研究来减少运行时间。有关论文参考和更多信息，我建议您查看Andrew Ng's Coursera in deep sequence modelling的第三周视频（免费）。该课程还介绍了Keras实现的注意力模型以及一些不错的情节。

希望这会有所帮助！干杯，
安德烈斯