在不安装Tensorflow的情况下提供Tensorflow模型

Question

我有一个训练有素的模型，我想在python应用程序中使用，但是我无法在不安装TensorFlow或创建gRPC服务的情况下看到任何部署到生产环境的示例。有可能吗？在这种情况下，正确的方法是什么？

Answer 1

如果不使用TensorFlow本身或TensorFlow服务，您希望如何提供？您是否计划重新实现TensorFlow操作以获得相同的语义？

也就是说，使用XLA，现在有一种方法可以将TensorFlow模型编译成可以从C ++调用的二进制文件。有关示例，请参阅the documentation on tfcompile。

Answer 2

您可以使用NVIDIA的TensorRT深度学习推理库来部署不具有张量流的张量流模型，该库自库的第3版起现已compatible with tensorflow。它是为推理量身定制的，因此，如果满足其要求，它是一个很好的选择。

但是，如果您打算在CPU或TensorRT不支持的平台（例如Windows）上进行推理，则对您不起作用。