Autoencoder的实现

Question

我正在尝试用我自己的Java实现自动编码器。从理论上讲，我知道自动编码器基本上是一个对称网络。

所以，如果我选择总共5层，我是否必须在训练中使用9层（反向传播）或足够5层？

我一直在阅读理论，但它们太抽象，充满了数学公式，我无法通过谷歌获得任何实施细节。

通常的做法是什么？

自动编码器，在训练阶段，使用反向传播，尝试获得与输入类似的输出，目的是最小化错误。如上所示。上图中的层数为7，而训练后实际层数为4。那么，虽然训练我可以用4来实现反向传播吗？如果是这样，我该怎么做？

Answer 1

如此多的图层，简单的反向传播将无效。由于所谓的消失梯度 pehenomen，具有两个以上隐藏层的网络将无法学到任何合理的东西。事实上，使用一个隐藏图层可获得最佳效果。因此，在自动编码器的情况下，您应该有INPUT层，HIDDEN层和OUTPUT层。无需更多，通用近似定理清楚地表明，这对任何问题都是足够的。

从OOP的角度来看，取决于你是否计划将这些代码重用于不同类型的神经元，而且神经元的类型意味着比不同的激活函数更深层次的东西 - 不同的行为（随机神经元？）;不同的拓扑结构（不是完全连接的网络）。如果不是 - 将每个神经元建模为一个单独的对象是完全多余的。