Tensorflow Lite GPU对python的支持

Question

任何人都知道Tensorflow Lite是否具有对Python的GPU支持吗？我看过针对Android和iOS的指南，但是关于Python却一无所知。如果安装了tensorflow-gpu并导入了tensorflow.lite.python.interpreter，是否会自动使用GPU？

Answer 1

根据this线程，不是。

Answer 2

您可以强制计算在GPU上进行：

import tensorflow as tf
with tf.device('/gpu:0'):
   for i in range(10):
         t = np.random.randint(len(x_test) )
         ...

希望这会有所帮助。

Answer 3

一种解决方案是将 tflite 转换为 onnx 并使用 onnxruntime-gpu

使用 https://github.com/onnx/tensorflow-onnx 转换为 onnx：

1.0

然后pip install tf2onnx python3 -m tf2onnx.convert --opset 11 --tflite path/to/model.tflite --output path/to/model.onnx

然后像这样运行：

pip install onnxruntime-gpu

您可以通过以下方式获取输入和输出名称：

session = onnxruntime.InferenceSession(('/path/to/model.onnx'))
raw_output = self.detection_session.run(['output_name'], {'input_name': img})

相同，但将 'get_inputs' 替换为 'get_outputs'