计算Caffe CNN架构

时间:2017-06-12 19:49:36

标签: deep-learning caffe conv-neural-network flops

最近,我一直在对一些CNN进行基准测试,包括时间,乘加运算数(MAC),参数数量和模型大小。我看过一些类似的SO问题(herehere),后者则建议使用Netscope CNN Analyzer。这个工具允许我通过输入我的Caffe网络定义来计算我需要的大部分东西。

然而,我在论文和互联网上看到的一些架构的乘加操作的数量与Netscope输出的相匹配,而其他架构则匹配。我总是将FLOP或MAC与netscope中的MACC列进行比较,但是在某些时候我忘记了~10倍因素(更多细节见下表)。

Architecture  ----  MAC (paper/internet) ---- macc column in netscope
VGG 16                    ~15.5G                       ~157G
GoogLeNet                 ~1.55G                       ~16G

在Netscope中提及GoogLeNet macc numberVGG16 macc number

使用该工具的人是否可以指出我在阅读Netscope输出时所犯的错误?

1 个答案:

答案 0 :(得分:7)

我发现导致Netscope与我在论文中发现的信息之间存在差异的原因。 Nestcope中的大多数预设体系结构使用批量大小为10(例如VGGGoogLeNet的情况),因此x10因子乘以多重添加操作的数量。