我训练了一个neural question generation model,它会为他们随论文分发的词汇表提出合理的问题。我想在另一组单词嵌入上运行该模型(即,Gloves.840B.300d)。我只添加了PAD,SOS和EOS令牌,并选择了 k 个最常用的单词。
由于两套单词嵌入来自同一分布(通用抓取),所以我希望它能很好地工作。但是,现在产生的问题是完全无意义的,冗长的句子,并且有很多重复。这几乎就像假设被某些词“卡住”一样。
例如:
答案
该学院的第一个学位于1849年授予。
解码器为原始嵌入产生以下输出
该大学在哪一年获得第一学位?
接下来是GLoVe向量
他。大学。在。学位程度,在1849年在1849年从1849年在从in在1849年从in在从in从in在从in在in从in在从in在in在in在in在的
我可能做错了什么?我根本没有改变架构。我是不是该?除了已经完成的工作之外,我还有什么要做的事情?