使用deeplabv3 mobilenetv2 tflite推理时的高延迟

Question

将模型转换为tflite后，最终大小为8.4MB。

input_dim_to_tflite = [1,256,256,3]
output_dim_of_the_tflite = [1,256,256]

用于转换TensorFlow冻结图的代码段：

tflite_convert \
  --output_file=log256/mobilenet_v2_deeplab_v3_256_quant.tflite \
  --graph_def_file=log256/frozen_inference_graph.pb \
  --output_format=TFLITE \
  --input_arrays="ImageTensor" \
  --output_arrays="SemanticPredictions" \
  --input_shapes=1,256,256,3 \
  --inference_input_type=QUANTIZED_UINT8 \
  --std_dev_values=128 \
  --mean_values=128 \
  --experimental_new_converter=True \

每帧的平均推理时间为 0.9秒。

如何最小化这段时间？