推理模型在编解码器中反复预测相同的单词

时间:2019-05-30 10:29:34

标签: lstm summarization encoder-decoder

我正在使用LSTM训练编解码器,以在Amazon Kindle数据集上生成抽象评论摘要。对于每个输入,输出摘要略有不同,但是它们会重复生成几个单词。

我尝试在每个解码器时间步长对softmax概率进行随机采样。因此,每个输入的结果都不同,但与输入文本无关。 尽管数量略有不同,但在每个时间步绘制softmax概率的直方图都显示出相似的分布。 我试图降低学习率

输入:我喜欢这本书写得很好,会再次读起来很不错

输出:SOS不能承受压力不能承受压力不能承受压力不能承受压力

0 个答案:

没有答案