在TensorFlow中训练量化模型

时间:2017-11-06 02:32:21

标签: tensorflow deep-learning quantization

我想训练量化网络,即在正向传递期间使用量化权重来计算损耗,然后在后向传递期间更新基础全精度浮点权重。

这个问题已经被问到here但没有回答。

请注意,在我的情况下,“假量化”就足够了。这意味着权重仍然可以存储为32位浮点值,只要它们代表低位宽量化值。

blog post from Pete Warden他声明:

“[...]我们确实支持”假量化“运算符。如果你在图表中包含这些预期量化的点(例如在卷积之后),那么在前向传递浮点数值将四舍五入到指定的级别数(通常为256),以模拟量化效果。“

上述运营商可在TensorFlow API

中找到

有人能指出我如何使用这些功能吗? 如果我在例如在我的模型定义中的转换层,为什么要量化层中的权重而不是该层的输出(激活)?

0 个答案:

没有答案