所以我正在训练一个Stacked Denoising AutoEncoder,每个AutoEncoder有3层。我的目标是通过使用堆叠去噪自动编码器进行图像分类。
我用来创建图片片段的方法:
训练自动编码器的步骤:
对于下一个DAE,我是否使用最后一层(即第2层>第3层)的权重来训练下一层?或者我是否必须通过网络运行另一个样本然后使用它来训练下一层?如果我们使用第2层> 3的权重,我们不会只有一个样本集来训练下一个自动编码器吗?如果是这种情况,那么权重只是随机生成的加权矩阵的初始值吗?
堆叠DAE图层后的最终步骤:
很抱歉,这听起来像是一个微不足道的问题。
答案 0 :(得分:4)
我对叠加去噪自动编码器的解释是你训练第一个自动编码器(即64-> 32-> 64)带有反向探测和无噪声输入作为输出,就像你典型的神经网络然后推送你的数据一样通过第一层进入32维空间并运行相同的过程(即32-> 16-> 32)并从那里前进。然后,您可以添加另一个图层。你理论上也可以在网络上进行某种微调,因为你也可以形成一个64 - > 32 - > 16 - > 32 - > 64网络并微调参数,但这可能不是必需的。
在这些步骤之后,您可以在64维空间中输入数据并将其推送到64 - > 32 - > 16 - >你的分类器。如果你想使用神经网络作为分类器,那么你可以在那之后继续使用更多的层,然后一直运行backprop到开始,从而获得更好的结果。堆叠去噪自动编码器的原始工作是here(PDF)。
另外,如果您正在考虑使用SVM,我认为这被称为学习内核,但我没有参考。