在seq2seq模型中更改词汇后的长重复输出

时间:2018-09-02 18:51:59

标签: neural-network nlp word-embedding sequence-to-sequence encoder-decoder

我训练了一个neural question generation model,它会为他们随论文分发的词汇表提出合理的问题。我想在另一组单词嵌入上运行该模型(即,Gloves.840B.300d)。我只添加了PAD,SOS和EOS令牌,并选择了 k 个最常用的单词。

由于两套单词嵌入来自同一分布(通用抓取),所以我希望它能很好地工作。但是,现在产生的问题是完全无意义的,冗长的句子,并且有很多重复。这几乎就像假设被某些词“卡住”一样。

例如:

答案

  

该学院的第一个学位于1849年授予。

解码器为原始嵌入产生以下输出

  

该大学在哪一年获得第一学位?

接下来是GLoVe向量

  他。大学。在。学位程度,在1849年在1849年从1849年在从in在1849年从in在从in从in在从in在in从in在从in在in在in在in在的

我可能做错了什么?我根本没有改变架构。我是不是该?除了已经完成的工作之外,我还有什么要做的事情?

0 个答案:

没有答案