推理时间是否取决于参数的数量？

Question

假设我有两个网络，第一个网络有2个M参数，第二个网络有0.4个M参数。我可以说第二个网络（使用deploy.prototxt）对一个图像输入的测试时间比第一个网络快吗？度量标准（#dethth，＃parameter ....）会影响推理时间？

Answer 1

你无法说出来。假设0.4M参数网络主要由卷积层组成，而2M参数网络由完全连接层组成。然后第一个将需要更长的前进传球。所以它将取决于很多东西，包括深度，参数，操作次数等。一般来说，你可以说它将取决于乘法的数量。

Answer 2

虽然参数的数量确实会影响网络的测试时间，但它并不是唯一的因素。您还应该考虑应用学习过滤器/权重的数据/特征的大小。

例如，考虑两个简单的网络：
  - 净A有一个7x7过滤器   - net B有一个3x3过滤器

很明显，网A有49个参数，而网B只有9个。 但是，净A的输入为150x150图像，而净B输入为1500x1500图像。
显然，在这些设置下，净B将需要更长时间来处理输入。

在许多情况下，深网将conv层与完全连接的层混合，这使得很难/不可能比较＆＃34;相同大小的输入＆＃34;。

顺便说一下，向compute the number of FLOPS required for a net添加功能仍然是一个悬而未决的问题。

Answer 3

当然，更大（更复杂的网络）将花费更多时间来评估输入，因为推理需要通过所有网络传播输入以到达最后一层（输出）。因此，它与参数的数量成正比是正常的，即与深度，每层神经元的数量和每两层之间的连接类型相关。