Question

我使用此命令在caffe中对我的ConvNet进行基准测试：

./build/tools/caffe time -model models/own_xx/deploy.prototxt -weights examples/RSR_50k_all_1k_db/snapshot_iter_10000.caffemodel -gpu=0

它运行正常并生成输出结束于：

I0426 16:08:19.345427 15441 caffe.cpp:377] Average Forward pass: 13.5549 ms.
I0426 16:08:19.345484 15441 caffe.cpp:379] Average Backward pass: 10.7661 ms.
I0426 16:08:19.345527 15441 caffe.cpp:381] Average Forward-Backward: 25.2922 ms.
I0426 16:08:19.345579 15441 caffe.cpp:383] Total Time: 1264.61 ms.
I0426 16:08:19.345628 15441 caffe.cpp:384] *** Benchmark ends ***

在一些教程中，我看到这个家伙只是简单地推断出平均前锋传球的分类时间。但是，我找不到任何解释如何做到这一点的公式或材料。这两个人之间真的有一些联系吗？还有哪些因素，涉及迭代次数和批量大小？我的目标是准确预测我的ConvNet在GPU上的分类时间。

更新：为了不显得完全无知，我将在此添加一个基本思路，即前向传递是输入生成相对输出所花费的时间，因此它也可以称为推理时间。但是，我感兴趣的是不管批量大小和迭代如何都知道这是否正确？我试过，但在基准测试期间，caffe没有提供任何批次＆＃39;选项。

Answer 1

平均正向传递时间是将一批输入从输入（“数据”）层传播到输出层所需的时间。 models/own_xx/deploy.prototxt文件中指定的批量大小将决定每批处理的图像数量。

例如，如果我运行Caffe附带的默认命令：

build/tools/caffe time --model=models/bvlc_alexnet/deploy.prototxt --gpu=0

我得到以下输出

...
I0426 13:07:32.701490 30417 layer_factory.hpp:77] Creating layer data
I0426 13:07:32.701513 30417 net.cpp:91] Creating Layer data
I0426 13:07:32.701529 30417 net.cpp:399] data -> data
I0426 13:07:32.709048 30417 net.cpp:141] Setting up data
I0426 13:07:32.709079 30417 net.cpp:148] Top shape: 10 3 227 227 (1545870)
I0426 13:07:32.709084 30417 net.cpp:156] Memory required for data: 6183480
...
I0426 13:07:34.390281 30417 caffe.cpp:377] Average Forward pass: 16.7818 ms.
I0426 13:07:34.390290 30417 caffe.cpp:379] Average Backward pass: 12.923 ms.
I0426 13:07:34.390296 30417 caffe.cpp:381] Average Forward-Backward: 29.7969 ms.

以下一行：

I0426 13:07:32.709079 30417 net.cpp:148] Top shape: 10 3 227 227 (1545870)

非常重要。它表示您的输入图层为10x3x227x227维。在这种情况下，批量大小为10张图像，每张图像大小为3x227x227（3表示图像中的每个rgb通道）。

如此有效，每张图像需要1.67818 ms /图像来执行正向传递或推理时间。

更改批量大小

如果要更改批量大小，请查看.prototxt文件。该 Caffe附带的models/bvlc_alexnet/deploy.prototxt文件如下所示：

name: "AlexNet"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 10 dim: 3 dim: 227 dim: 227 } }
}
layer { ...

只需将dim：10改为其他值（比如说'100'，指定每个正向传递100张图像的批量大小）。

如何从咖啡的平均正向通过时间估计推断时间？

1 个答案: