我正在训练RNN来纠正句子。解码器输入是解码器输出（t-1），我需要/想要在训练期间也这样做。
通常会遇到需要在某些字符之间添加或删除字母（通常是空格）的情况。
Example:
Inputs: I Needa sPace inbetewen
Target: I need a space inbetween
Output: I need a space inbetween
一切都很好。但如果输出是：
Output: I needa space inbetween
然后，在错过的空间之后，我的损失会爆发所有迹象：
I - I
-
n - n
e - e
e - e
d - d
- a
a -
- s
s - p
p - a
a - c
c - e
e -
- i
i - n
n - b
b - e
e - t
t - w
w - e
e - e
e - n
n - <eos>
因此，虽然我希望在网络错过空间的步骤中出现高损耗，但在输出遵循最佳可能序列的意义上，所有其他步骤输出实际上是“正确的”。我仍然使用传统的X熵（每个步骤的标签与目标）高度惩罚网络。