在神经网络中从单个神经元向两个神经元进展

Question

我发现通过simplest possible example学习神经网络是一个很好的开始方式。当你把它缩小范围时，基本的工作方式是可以理解的。

我认为最小的下一步可能仍然只有一个隐藏层，但隐藏层中的神经元数量从一个增加到两个，然后出现一些问题：

1. 从单个神经元到两个神经元（对于一个简单的任务），我可以获得什么特别的好处？
2. 为什么不同的神经元用不同的随机权重进行初始化？这是否意味着你开始在n维景观中进行多次旅行以增加寻找全局最小值的机会？
3. 为什么要将所有一层中的节点的信号发送到 all 下一层中的节点？我见过的所有数据都显示了相同的多对多箭头，但没有一个解释为什么！

我已经阅读了很多关于这个主题的介绍文章，但我找不到任何涵盖这些问题的文章。

Answer 1

使用单个输出神经元，您只能进行二进制分类。当您在输出层中放置多个神经元时，您可以定义更复杂的分类问题。常见的情况是对N个类进行one-hot编码，其中输出层中有N个神经元，每个神经元对应一个不同的类。对于除输出i之外的所有输出神经元，类i的输出将为零，这将等于一。

不严格要求使用不同权重进行随机化，但可以加快网络训练。由于您通常希望给定图层中的每个神经元收敛到不同的决策边界，因此有助于以不同的随机权重开始它们，因为它们会更快地发散。

没有严格要求一般ANN的一层中的所有神经元连接到相邻层中的所有神经元（即，完全连接的层）。这样做的好处之一是，您可以通过矩阵乘法更轻松地计算网络输出，并且反向传播也更简单。使层完全连接允许网络产生更复杂的决策表面。从图层中删除一些连接实际上与将相应的权重固定为零相同。