在神经网络中，如果输入> 1或<-1，那么在传播之前是否应该应用激活功能？

Question

我正在创建我的第一个人工神经网络，并使用“股票标准”鸢尾花数据表。其中一些输入如下：1.3、4.0、2.8等。

是否应该通过激活函数放置这些值，使它们为<1，并且在没有这些情况下传播会引起任何问题？

提前欢呼

Answer 1

归一化消除了对数据矢量某些维度的几何偏差。这样，每一位数据都将以“公平”的方式得到处理。解决这一问题的另一种方法是认识到所有学习算法都依赖于数值属性，因此应该尽量避免小数，大数和大差异。

如果您不对（0,1）或（-1,1）之间的输入进行归一化，则您将无法平均分配每个输入的重要性，因此，在ANN训练期间，较大的值自然会根据较小的值成为主导。

重要的是输入的可比性。例如，您的年鉴有两个输入x1和x2。 x1从变为0到0.5，x2从0到1000。x1的变化为0.5是100％的变化，而x2的变化为0.5仅为0.05％。因此规范化是有帮助的。