我对卷积自动编码器(CAE)中降维前的卷积步骤的重要性提出了疑问。
在我看到的许多实现中,CAE使用" flatten"图层将最后一个卷积图层(尺寸为: H,W,C )转换为经典的一维图层(dim: H x W x C )连接层以产生"代码"自动编码器。
但是,我注意到大多数时候,生成的扁平层实际上比输入层的尺寸更大!因此,我有直觉认为那些简单的卷积自动编码器显然过于完整,因此存在身份映射学习的风险。
所以我的问题:
与传统的堆叠式自动编码器相比,在完全连接的层之前进行卷积可以获得什么? (卷积编码部分真的对减少维数有用吗?)
请注意,我想在进行分类之前使用CAE进行无人监督的预训练,我想知道CAE是否比SAE更好。
提前感谢你对这个问题的想法。