在其他语言环境中使用TensorFlow的深度学习模型

Question

我对TensorFlow有相当多的经验，我即将开始一个项目，最终将在C＃生产环境中使用TensorFlow训练模型。从本质上讲，我将拥有将进入C＃环境的实时数据，我最终需要根据TensorFlow中模型的输出输出决策/采取某些操作。这基本上只是现有基础设施的一个约束。

我可以想到实现这一点的几种可能不好的方法，例如将数据写入磁盘然后调用应用程序的Python部分，然后最终读取Python应用程序的结果输出并采取一些基于的操作它。然而，这很慢。

是否有更快的方法来实现C＃和基于Python的Tensorflow之间的相同集成关系。我看到there appear to be some ways使用C ++和TensorFlow执行此操作，但是C＃呢？

Answer 1

这是TensorFlow Serving的主要用例，它允许您创建一个C ++进程，该进程可以在经过训练的TensorFlow模型上运行推理，并提供gRPC上的推理请求。您可以使用gRPC supports的任何语言编写客户端代码。看一下MNIST教程：C++ server和Python client组件。