神经网络中的权矩阵维直觉

Question

我一直在Coursera中学习一门有关神经网络的课程，并遇到了这种模型：

我知道z1，z2等的值是来自线性回归的值，这些值将被放入激活函数中。我的问题是作者说应该有一个权重矩阵和一个输入向量，像这样：

我知道Xs的向量的维数是3 x 1，因为有3个输入，但是为什么Ws的数组的维数是4 x 3？我可以推断出它有四行，因为它们分别是权重w1，w2，w3和w4，它们分别对应于a1 ... a4的每个值，但是该数组内部是什么？其元素类似于：

w1T w1T w1T
w2T w2T w3T
... ?

例如，当我乘以x1时，我将得到：

w1Tx1+w1Tx2+w1Tx3=w1T(x1+x2+x3)=w1TX

我已经考虑过了，但是即使我知道最后我将有一个4 x 1的向量与z的值相对应，但我无法真正了解此数组包含的内容。有帮助吗？

谢谢

Answer 1

根据经验法则，权重矩阵具有以下尺寸：

• 行数必须等于上一层中的神经元数。 （在这种情况下，上一层是输入层）。所以3
• 列数必须与下一层中的神经元数匹配。所以4.

因此，权重矩阵=（3X4）。如果进行移调，它将变为（4X3）。

Answer 2

如果x为3x1，则大小为Nx3的权重矩阵将为您提供N单位的隐藏层。对于您的情况N = 4（请参阅网络示意图）。这是由于以下事实：将Nx3矩阵与3x1向量相乘会得到Nx1向量作为输出，因此，N个隐藏单位。

权重矩阵的每一行都定义了单个隐藏单位的权重，因此w_1和x（加上偏差）的标量积为z_1：

最后，将所有数量写为向量和矩阵仅使您可以使用简洁的线性代数符号：

我们假设激活是逐元素进行的。