Tensorflow Lite:训练后量化后的Int 8推断

时间:2019-03-14 08:54:43

标签: python tensorflow keras tensorflow-lite quantization

在经过训练的keras模型上使用tensorflow lite进行训练后量化之后,我知道float32格式的权重将转换为int8格式。 但是在下面的link文档中,它表示:

  

推断时,权重从8位精度转换为   浮点数,并使用浮点数内核进行计算。这个   转换完成一次并缓存以减少延迟。

https://www.tensorflow.org/lite/performance/post_training_quantization

  1. 那么,在推理过程中转换回float32之后是否会有量化损失?它将如何影响模型预测的准确性?
  2. 我可以使用int8权重进行推理而无需转换回float32格式(使用C代码或纯python)吗?
  3. 是否有一种方法可以将权重转换为推理所需的格式(例如float16或int16)并进行推理而无需再次量化?

0 个答案:

没有答案