关于seq2seq中的波束搜索

时间:2018-07-25 02:22:43

标签: nlp seq2seq beam-search

我正在努力实现波束搜索并推测以下情况。

假设波束宽度为3。那么,我们将需要在每个解码阶段维持3个最可能的选择(此处,解码阶段意味着t = 1、2,...,Ty)。

假设三个选择之一甚至在迭代到达Ty之前就遇到了“ END”字。在这种情况下,即使此选择具有最高(累积的)联合概率,我们也不想停止使用波束搜索的整个解码阶段。我们将需要将此选择存储在内存中,以便稍后在所有其他选择都遇到“ END”字或迭代达到Ty时与其他选择进行比较。

此后,我们将剩下两个选择,以继续进行对Ty的下一次迭代。

在这里,在连续的迭代中,我们是否需要(从备份列表中)添加一个选择来满足三个波束宽度的要求?还是仅使用其余两个选择来继续解码阶段?

任何想法或建议

东部

0 个答案:

没有答案