Tensorflow:嵌入式DSP的定点量化

时间:2018-05-29 23:14:43

标签: tensorflow signal-processing tensorflow-lite

为我的新手问题道歉。

从这些文档中我了解使用8位数字节省内存和提高性能的优势,对准确性的影响非常小:

https://www.tensorflow.org/performance/quantization

其他博客提到这些量化模型可以卸载到DSP,我有低成本的DSP,可以在单个时钟内以极低的功耗进行168次乘法和9位输入,我想用它来做推断我训练的一些模型。我不想使用任何现有的框架,因为他们无论如何都不适合/工作。我想训练模型,保存它然后自己读取权重,同时我将手工硬编码网络的流/图,作为概念的证明。

当我将其视为仅压缩时,使用min / max表示层+ 8位权重是有意义的,这可能导致非对称范围而0不在8位范围的中间。将其解压缩为32位实数值,以便轻松完成计算。

但是在多个博客中仍然提到这种方法可以直接在DSP上使用,并使用8位数进行计算。我仍然无法掌握如何实现这一点。在过去,我曾经有定点数学,我假装某处是小数点,然后在乘法后移位结果。但我认为,当使用最小/最大/非对称方法训练/存储模型时,无法做到这一点。我是否遗漏了一些东西,因为我无法理解如何在DSP中使用简单的整数乘法器实现低级实现?

0 个答案:

没有答案