标签： machine-learning nlp neural-network recurrent-neural-network lstm
我试图实现Vinyals et al 2015中描述的神经对话模型。我的问题是输入的序列应采用何种格式？我想在我输入编码器的句子中使用word2vec或GloVe矢量表示，但是使用word2vec为我的训练数据中的所有单词导出矢量似乎计算成本很高。手套。
我的理解是，该模型可能会输出在训练词汇创建的嵌入的向量空间中不存在的向量，并且我将不得不使用KNN算法来查找最近的现有向量到模型输出的向量，这在训练模型时反复进行也似乎非常昂贵。