标签: python tensorflow keras tensorflow-lite quantization
在经过训练的keras模型上使用tensorflow lite进行训练后量化之后,我知道float32格式的权重将转换为int8格式。 但是在下面的link文档中,它表示:
推断时,权重从8位精度转换为 浮点数,并使用浮点数内核进行计算。这个 转换完成一次并缓存以减少延迟。
https://www.tensorflow.org/lite/performance/post_training_quantization