奇怪的神经网络分类现象

Question

我正在尝试开发一种新的权重初始化方法，但我得到了一种奇怪的训练现象。您可以看到输出节点8永远不是最大激活...

我正在使用matlab patternnet和tansig激活，mse性能，没有偏置节点。我正在尝试对mnist数据库的子集进行分类。

有没有人有任何想法如何排除故障？尽管具有相同的体系结构，但使用nguyen-widrow初始化并未看到此结果。

修改

输入：0到1之间的768xN值

目标：每个行的值为0或1的10xN。所以它就像一个每列1真的逻辑矩阵。

一个或多个节点没有激活，我展示了最好的情况。

这发生在一个或多个层（1到5），更少或更多的训练数据（1k到10k样本）。

Answer 1

我想我找到了问题的解决方案。

通过将权重缩放为仅沿传递函数的重要域（-1到1），我不再看到这种现象。