神经网络层的单位是独立的？

Question

在神经网络中，有3个主要部分被定义为输入层，隐藏层和输出层。隐藏层的单位之间是否存在任何相关性？例如，隐藏层的第1和第2神经元是否彼此独立，或者彼此之间存在关系？有没有来源解释这个问题？

Answer 1

答案取决于很多因素。从概率的角度来看，他们在培训之前是独立的给定的输入和 。如果输入不固定则它们是高度相关的（作为相同输入信号的两个“几乎线性”函数）。最后，在训练之后，它们将是强相关的，并且确切的相关性将取决于初始化和训练本身。