Question

在使用pip安装了Keras和Tensorflow的Raspberry Pi 4上进行推理时，使用TFLite进行推理的时间较慢。

初始Keras模型约为20 mb-将其转换为TFLite后约为2.4 mb。在推理过程中，Keras模型在大约50毫秒内处理一个样本，而TFLite在大约80毫秒内进行处理。

最初通过Tensorflow的点子安装版本导致TFLite出现错误，因此我使用以下信息安装了TFLite-runtime：https://www.tensorflow.org/lite/guide/python

在TFLite中进行推断时，我使用以下代码段：

interpreter = tflite.Interpreter(model_path=CHECKPOINT)
interpreter.allocate_tensors()

input_index = interpreter.get_input_details()[0]["index"]
output_index = interpreter.get_output_details()[0]["index"]

for im in images:
    t = time.time()

    inp = np.expand_dims(np.expand_dims(im,-1),0)

    interpreter.set_tensor(input_index, inp)
    interpreter.invoke()

    predictions = interpreter.get_tensor(output_index)

    print("Time: {}".format(time.time()-t),end="\r")

有人在Raspberry Pi上使用TFLite有任何经验吗？我是否为了进一步加快推理而错过了一些东西？在Keras中使用10倍模型大小进行推理应该更快，这似乎是错误的。

TFLite在Raspberry Pi 4上比Keras慢

0 个答案: