在Raspberry Pi上运行TensorFlow模型推理的首选方法是什么?

时间:2018-08-08 14:35:31

标签: python tensorflow raspberry-pi tensorflow-serving

我想使用 Raspberry Pi (RPI)上的Tensorflow运行卷积神经网络的模型推断。 当前不是在云中运行模型。

我想有两种方法可以做到这一点:

1)直接在RPi上运行tensorflow代码。 (现在可以直接在RPi上pip install tensorflow,请参见here

2)使用ModelServerofficial docs)运行tensorflow serving的实例。

现在,我想拥有一个运行在RPi上的应用程序,该应用程序可以读取实时传感器数据(在我的情况下是从麦克风获取 audio )并运行分类算法。我认为查询ModelServer是首选(我甚至不需要在RPi上安装tensorflow),但是我在任何地方都找不到此示例。

有人在RPi上部署张量流模型有任何经验/知识吗?

1 个答案:

答案 0 :(得分:0)

您是正确的选择查询ModelServer是正确的-您可以丢弃RPi上TensorFlow安装的开销,并利用后端计算机(即托管ModelServer的GPU)的计算资源。 / p>

TensorFlow具有RESTful API,这是一种轻量级的方法,可以从RPI等物联网设备执行远程推理。您可以在后端计算机上构建启用REST的ModelServer,然后使用从RPi到分类算法的音频数据实时执行POST请求。

我找不到专门为音频设计的库的示例,但是我的TensorFlow Distributed Image Serving库是使用此框架处理图像的示例。音频的总体概念几乎相同,但是预处理和后处理会有所不同,具体取决于音频的编码方式。