将模型编译为可执行文件以便更快地推断？

Question

有没有办法用我训练过的模型编译整个Python脚本以加快推理速度？看起来像加载Python解释器，所有Tensorflow，numpy等都需要花费大量的时间。当这必须发生在服务器响应非平凡的请求频率时，它似乎很慢。

修改

我知道我可以使用Tensorflow服务，但由于与之相关的费用，我们不想这样做。

Answer 1

如何设置服务器？如果您使用python框架（如django，flask或tornado）设置服务器，则只需预先加载模型并将其保存为全局变量，然后使用此全局变量进行预测。

如果您正在使用其他服务器。您还可以将用于预测的整个python脚本预测为本地服务器，并在python服务器和Web服务器之间转换请求或响应。​​

Answer 2

您是否只想提供张量流模型，还是在张量流之外做任何工作？

对于tensorflow模型，您可以使用TensorFlow Serving。如果您对gRPC感到满意，这将很适合您。