如何提高张量流中的计算时间

Question

我在android中使用tensorflow。我为TFClassify安装了apk。我运行了应用程序，它的运行速度很快，推理时间不超过400毫秒。然而，当我用我的模型替换可用的训练模型时，在显示结果之前计算需要大约2000ms。为什么会出现这样的差异？如何优化我的retrained_graph.pb？

Answer 1

您是否将重新训练的模型转换为优化模式？量化图？

如果没有尝试：

 tensorflow/bazel-bin/tensorflow/python/tools/optimize_for_inference \
         --input=retrained_graph.pb \
         --output=optimized_graph.pb \
         --input_names=Mul \
         --output_names=final_result

 tensorflow/bazel-bin/tensorflow/tools/quantization/quantize_graph \
         --input=optimized_graph.pb \
         --output=rounded_graph.pb \
         --output_node_names=final_result \
         --mode=weights_rounded

仅供参考，您必须先构建这些工具。