关于＆＃34;参数数量＆＃34;在神经网络中

Question

NN，当他们谈论论文中的“参数数量”时，它们通常意味着每一层的权重矩阵和具有激活函数的每个单元的偏差？ NN无需其他参数吗？

那么有所谓的超参数可以定义层数，每层的单位数和这些单位的激活函数 - 但是让它们放在一边。

我的意思是，如果我们得到了具有一百万个参数的非卷积神经网络，那意味着作者计算了网络中使用的权重数和单位数（我假设每个人通常都有偏见，正确？）？

Answer 1

您需要将网络固有参数与训练参数分开。对于给定的拓扑，激活和累积功能（这就是你所谓的超参数），唯一剩下的网络固有参数确实是权重。但是，请注意，没有明确的理由严格划分这两种参数（＆＃34;权重＆＃34;和＆＃34;超参数＆＃34;）。

此外，还存在训练参数，例如梯度下降步骤的步长，动量，正则化（或权重衰减）参数，优化函数（通常是最小二乘），以及可能更多。有些人可能还会将它们包含在参数集中。

因此，我建议你详细查看哪些论文称之为＆＃34;参数的数量＆＃34;，因为很难相信在整篇文献中都是一致的。