RNN：仅在最终时间步进时输出的反向传播

Question

Denny Britz撰写的关于回归神经网络的blog。  作者声明，＆＃34; 上图在每个时间步都有输出，但根据任务，这可能没有必要。例如，在预测句子的情绪时，我们可能只关心最终的输出，而不是每个单词之后的情绪。同样，我们可能不需要每个时间步的输入。＆＃34;

如果我们仅在最后的时间步进行输出：如果每个时间步没有输出，那么反向传播将如何变化，只有最后一个？我们需要在每个时间步骤定义损失，但如何在没有输出的情况下进行定义？

Answer 1

你不需要在每个时间步长定义输出＆＃34;实际上，通过时间的反向传播更简单，输出的单个输出比图像上的输出更强。当只有一个输出时，只需＆＃34;将您的网络旋转90度＆＃34;它将是一个常规的前馈网络（只是一些信号直接进入隐藏层） - 反向传播通常起作用，推动部分导数通过系统。当我们在每一步都有输出时，这变得更加棘手，通常你将真正的损失定义为总和所有＆＃34;小损失＆＃34;因此你必须总结所有的渐变。