如何将RNN应用于序列到序列的NLP任务？

Question

我对NLP任务上的序列到序列RNN感到很困惑。以前，我已经实现了一些分类任务的神经模型。在这些任务中，模型将字嵌入作为输入，并在网络末端使用softmax层进行分类。但神经模型如何进行seq2seq任务呢？如果输入是字嵌入，那么神经模型的输出是什么？这些任务的考试包括问答，对话系统和机器翻译。

Answer 1

您可以使用编码器 - 解码器架构。编码器部分将您的输入编码为固定长度的矢量，然后解码器将此矢量解码为您的输出序列，无论这是什么。可以根据您的目标函数（仍然可以涉及soft-max）共同学习编码和解码层。查看this paper，其中显示了该模型如何在神经机器翻译中使用。这里的解码器逐个发出单词以生成正确的翻译。