长序列在seq2seq模型中注意？

Question

我正在遵循此pytorch教程http://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html，并尝试将此原则应用于摘要。其中编码序列大约为1000个字，而解码器目标为200个字。如何将seq2seq应用于此？我知道一次完成1000个单词的整个序列会非常昂贵且几乎不可行。因此将seq划分为20 seq并且并行运行可以得到答案。但我不确定如何实现它我也想把注意力集中在它上面。

Answer 1

您无法及时并行化RNN（此处为1000），因为它们本质上是顺序的。

您可以使用轻量级RNN，例如QRNN或SRU作为较快的替代方案（仍是顺序的）。

另一个常见的序列处理模块是TCN和Transformers，它们都可以在时间上并行化。

另外，请注意，所有这些都可以引起注意，并且可以完美地处理文本。