卷积自动编码器：黑色特征映射

Question

我正在使用卷积自动编码器。我的自动编码器配置有一个卷积层（stride（2,2）或avg-pooling和relu激活）和一个解卷积层（stride（2,2）或avg-unpooling和relu activation）。

我使用MNIST数据集训练了自动编码器。

当我在第一个卷积层（20个滤镜大小为3的滤镜）后查看特征贴图时，我得到了一些黑色特征贴图而不是学习过滤器不是黑色。如果我更改过滤器数量或过滤器大小，也会发生同样的情况。

我通过TensorFlow和Theano自动编码器得到这种现象。 （我还没有测试过其他神经网络软件。）

有谁知道为什么会这样？

添加LRN图层时可以避免使用黑色要素图，但我想了解黑色要素图出现的原因。

Answer 1

我发现了同样的现象。 在针对数千个RGB图像训练卷积自动编码器与7x7x3x6之后，两个或三个滤波器具有一些输出，而其他滤波器获得零输出。 当零输出过滤器太多时，错误不会减少。 我也更改了过滤器的数量和大小，但结果几乎相同。