CNN中完全连接层的输出是多少？

Question

例如，在Caffe中，应该在内部产品（完全连接）层中定义num_output。这个输出数是什么意思？

Answer 1

将完全连接图层视为1xN和NxM的简单矩阵 - 矩阵乘法，以生成维1xM的结果。

让我们考虑我们传递一个维度为56x56x3的数据作为完全连接层的输入。让权重的维度为未知NxM。考虑一下，我们设置了num_ouput = 4096。

为了计算这些数据，完全连接的图层将维56x56x3的输入数据重新整形为1xN，1x(56x56x3) = 1x9408。

因此，

  

N = 9408

     

M = num_output = 4096

实际上我们最终会进行(1x9408)matrix - (9408x4096) matrix乘法运算。

如果num_output值更改为说100，则最终会进行(1x9408)matrix - (9408x100) matrix次乘法。

因此，增加num_ouput值会增加模型必须学习的权重参数的数量。