神经网络中的样本大小

Question

我已经看到神经网络中样本量的一般规则是权重数量的10倍。因此，例如，如果我们具有NxD输入，则一个层大小M和输出层大小K是“权重”的数量＆＃39; 2因为两个W矩阵？或者是D M + M K？预先感谢您的帮助。

Answer 1

实际权重数应为DM + MK + M + K，其中DM表示隐藏图层中所有单位的权重数，M表示隐藏图层中的偏差项，同样，MK和K分别代表输出图层中的数量和偏差项。