NMT的seq2seq:为什么解码器保持预测重复令牌?

时间:2019-06-18 13:58:16

标签: python nlp pytorch machine-translation seq2seq

我已经建立了用于机器翻译的编码器解码器体系结构。在推论过程中,我发现解码器正在生成重复的单词,例如:

code.l:18: warning, rule cannot be matched
code.l:23: warning, rule cannot be matched

在这种情况下,我将光束大小设置为3。要调试,我只训练模型2个时期。该模型将字符序列作为输入,并且解码器在每个时间步长预测一个字符。我不知道为什么会这样。因为它一直以这种方式进行预测,所以它永远不会预测令牌结束推理。任何帮助都会很棒!

0 个答案:

没有答案