神经网络输入排列和归一化依赖关系

时间:2014-07-06 04:21:58

标签: machine-learning artificial-intelligence neural-network

不确定这是一两个问题,虽然我认为这两个问题的答案都是"不会,但它不会产生任何影响",你和我对其他问题都是非常错误的以前傻问题。

1.神经网络输入是否依赖于它们之间的排列?例如,如果我有7个神经元代表一周中的几天,而不是按照SMTWRFS的常识方式排列它们,如果在我的训练,验证和测试集中一致地完成,我可以将它们安排为MFRSSTW吗?或者这会以某种方式影响机器根据我们(人类,社会等)典型的一周安排来学习模式的能力?这只是一个EXMAPLE!但它证明了我的问题的一个极端例子。显然,人类更难以遵循,所以我不会这样做,除非从数据收集的角度或由于某些其他限制而有意义。

*我相信这个问题的答案是否定的,因为所有神经元都是完全相互连接的,并且调整突触权重以适应紧急模式,无论它们相对于彼此的位置如何。

2a上。输入规范化是否相互依赖,或者只要一致地完成,它们是否可以单独归一化?例如,输入1-8从(0,200)归一化 - > (-1,1),以及从(0,100000)开始规范的输入8-10 - > (-1,1),然后一起用于学习/计算。

2a上。输出可以非规范化独立于输入吗?与上面相同的例子,输入1-8从(0,200)归一化 - > (-1,1),以及从(0,100000)开始规范的输入8-10 - > (-1,1),但是输出从(-1,1)标准化 - > (0,5000)?

*我认为只要规范化和非规范化在呈现给网络时一致地完成,这在任何一种情况下都不应该有所不同。

1 个答案:

答案 0 :(得分:0)

  1. 如您所料,人工神经网络(至少在广泛使用的多层感知器中)的输入可以任意排列。预测/分类结果与输入的排列无关。

  2. 归一化阶段的目标是所有变量的平均值应该接近于零,并且它们的方差应该相似,通常接近1.因此,正如您所指出的,每个变量必须独立归一化。输出也会发生类似的情况。

  3. 从理论的角度来看,不需要归一化,但是,这是人工神经网络实际应用中的重要一步。关于神经网络的这个和其他实用技巧可以在LeCun's paper中找到。