TensorFlow CNN有些内核没有学习

Question

我在TensorFlow中有一个AlexNet实现，虽然没有达到假定的损失值，但它正在收敛...我开始学习率为0.01（如ILSVRC2012的论文中所述），并且在第一次LR下降之前，损失大约是6.0，它应该在3.0和3.5左右......现在我输出了可视化的权重，我注意到卷积层中的一些通道没有学习...在第一层我有96个通道，但只有63个有＃34;正常值＆＃34;，其余33个有0个值...

这是内核的图像，每个都标准化为最大值。未学习的内核是＆＃34;随机＆＃34;。

任何想法为什么？在前2个FC层中，我在列车期间的辍学率为50％。

提前致谢。