Question

对于卷积神经网络的全连接层，我有一些不确定性。可以说输入是卷积层的输出。我了解上一层是扁平的。但是它可以有多个渠道吗？（例如，全连接层的输入可以是16x16x3（3通道，被展平为768个元素的向量吗？）

接下来，我了解输出的等式是

outputs = activation(inputs * weights' + bias)

每个输入是否有1个权重？（例如，在上面的示例中，将有768个砝码吗？）

接下来，有多少个偏见？每个频道1个（所以3个）？ 1无论如何？还有吗

最后，过滤器如何在完全连接的层中工作？可以超过1个吗？

Answer 1

您可能对完全连接的神经网络的工作方式有误解。为了更好地理解它，您可以随时查看一些不错的教程，例如斯坦福大学HERE

的在线课程

要回答第一个问题：是的，无论您有什么尺寸，都需要先将其展平，然后再发送到完全连接的图层。

要回答第二个问题，您必须了解完全连接的层实际上是矩阵乘法和矢量加法的过程：

input^T * weights + bias = output

，其中输入的尺寸为1xIN，权重的尺寸为INxOUT，输出的尺寸为1xOUT，因此，您的尺寸为1xIN * INxOUT = 1xOUT。总而言之，您将拥有INxOUT权重和每个输入的OUT权重。您还将需要OUT偏置，这样整个方程为1xIN * INxOUT + 1xOUT（偏置项）。

没有卷积，因为您没有进行卷积。

请注意，完全连接层也等于1x1卷积层，并且许多实现稍后将其用于完全连接层，这对于初学者可能会造成混淆。有关详细信息，请参阅HERE