我正在尝试将训练有素的模型从检查点文件转换为tflite。我正在使用tf.lite.LiteConverter。浮点转换在合理的推理速度下运行良好。但是INT8转换的推断速度非常慢。我试图通过馈入一个非常小的网络进行调试。我发现INT8模型的推理速度通常比float模型慢。
在INT8 tflite文件中，我发现了一些称为ReadVariableOp的张量，在TensorFlow的官方mobilenet tflite模型中不存在。
我想知道是什么原因导致INT8推理的缓慢。
答案 0 :(得分：0)
您可能使用了x86 cpu而不是带有arm指令的cpu。您可以在这里https://github.com/tensorflow/tensorflow/issues/21698#issuecomment-414764709
引用它