打印Tensorflow模型中的激活次数

Question

我试图计算模型（例如LeNet）中的激活次数。我如何计算激活总数？

有一种方法可以计算可训练参数的数量，但是似乎没有用于计算单个激活的选项。

Answer 1

激活次数取决于模型的层，例如：

• 对于完全连接的层（密集），激活的次数等于神经元的数量。
• 对于卷积层，激活次数是滤镜数量乘以输出要素图的空间尺寸（取决于填充，输入大小等）。
• 对于递归层，这取决于LSTM / GRU具有复杂的结构。对于简单的RNN，它只是神经元数乘以时间步数。