堆叠式去噪自动编码器在哪里增加噪声？

Question

对于堆积式降噪自动编码器，如以下所示 原始图来自link

我想知道在哪里添加噪音？对于单层去噪自动编码器，我们仅将噪声添加到输入中。

对于多层去噪自动编码器，我们是否需要在图中的1,2,3,4位置添加噪声，还是只需要在1位置添加噪声？

谢谢

Answer 1

该图未显示堆叠的自动编码器，而是一个“更深”的自动编码器，具有单个编码器（由中间层组成），单个代码/潜在矢量/隐藏层和单个解码器（也具有中间层）。

堆叠式去噪自动编码器与堆叠式自动编码器相同，但是您要使用降噪式自动编码器替换每一层的自动编码器，同时保持其余架构不变。

重要的是要提到，您在每一层中都在尝试重构自动编码器的先前输入-加上一些噪声，您可以认为它们只是破坏了输入。

对于所有后续层，您基本上是在重建上一层中自动编码器的输出（即隐藏层）。

另外，要回答您的问题-您将需要在每一层中添加噪音。

更多信息可以在这里找到：http://psyyz10.github.io/2015/11/SDA/