神经网络中的哪些层具有权重/偏差并且不具有权重/偏差？

Question

我已经听过几个关于在神经网络中设置权重和偏差的不同变种，它给我留下了一些问题：

哪些图层使用重量？ （我被告知输入层没有，还有其他人吗？）

每层是否都会产生全局偏差（每层1个）？或者每个神经元都有自己的偏见？

Answer 1

在常见的教科书网络中，例如多层感知器 - 每个隐藏层和回归器中的输出层，或者直到分类器的softmax，归一化输出层，都具有权重。每个节点都有一个偏差。

这里有一篇论文，我觉得特别有用的解释了这种安排的概念功能：

http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/

基本上，权重和偏差的组合允许网络形成中间表示，这些表示是先前层的任意旋转，缩放和失真（由于非线性激活函数），最终线性化输入和输出之间的关系。

这种排列也可以用简单的线性代数表达式L2 = sigma（W L1 + B）表示，其中L1和L2是两个相邻层的激活矢量，W是权重矩阵，B是偏置矢量， sigma是一种激活函数，在某种程度上具有数学和计算上的吸引力。