演讲之间的矩阵形状差异

Question

我目前正在从两个讲座中学习深度学习。让我感到困惑的是，当两个演讲塑造输入矩阵X时，它们之间存在符号差异。

在Coursera的演讲中，他们制作了一个矩阵X，其形状为（特征数量，样本数量），因此它们可以垂直堆叠样本。否则，另一堂课会水平堆叠样本，以便每一行代表一个样本。

是什么与众不同，我应该遵循哪一个？

Answer 1

有很多东西要在这里打开：

第一首先，让我们假设我们的神经网络中只有一层，而批次中只有一个样本，您将垂直堆叠特征，因为这样很直观，

如上图所示，看起来每个要素都将由一个输入节点表示，因此，如果集合中有多个样本，则按（要素数量，样本数量），在继续进行下一部分之前，请确保您正确理解了这一部分。

第2部分现在，当我们想移至下一层时，我们希望使其看起来像上一层的输出是该层的输入，因此我们希望对输入进行整形表示为（隐藏层数，样本数），因此我们可以将其可视化为每一层，现在我们还必须前馈，为此，在隐藏层的权重矩阵中，我们的形状为前一层中的神经元（当前层中没有要素/神经元），现在为了保持一致性，我们必须在转乘到X之前转置权重矩阵（W）。我希望这解释了为什么我们堆叠样本列。

现在我们转到为什么有时将它们表示为水平堆叠的原因，而答案是因为这样会使计算成本和损失更加直观，将输出层y堆叠为垂直列，将预测y_hat作为垂直列，这样一来，与y-y_hat之类的语句相比，将它们水平放置而不是作为向量堆叠，将更加直观。

因此，在训练馈送输入时，我们应该从中学到什么，我们将它们堆叠为（特征数量，样本数量），以保持整个网络的一致性和直观性，并垂直堆叠样本以获得Y作为矢量。在实践中，人们通常避免垂直堆叠样本，他们只是获得y的转置，或者从水平堆叠中输出矢量，但是在开始时最好具有可视化效果。

修改 也代表输入数据，例如当以excel，csv，Dataframe等表格结构表示时，样本将垂直堆叠。

如果您有任何疑问/疑问，请在下面评论。

图片来源：Google

Answer 2

这两种方法都很好，只有保持一致才有意义，即所有矩阵运算都是正确的。根据矩阵的形状，您可能有setValue()或set()，或沿这些直线的变化。

从长远来看，使用不同的表示方式可能实际上有助于理解。因此，我建议同时参加这两个讲座，并欣赏它们在表示数据等方面的差异。