CNTK部署用于实时预测

Question

TensorFlow有一个单独的项目用于其生产用途，如here所述，称为TensorFlow服务。

我应该如何在生产环境中使用CNTK，以及如何处理它的部署？希望可以将训练有素的模型部署到使用RPC或HTTP REST API为模型提供服务的服务器/集群中。

如果不存在这样的工具，开发它的第一步应该是什么，以及我自己推出一个好的架构？

Answer 1

我们支持在生产环境中提供CNTK模型。您可以找到有关模型评估/推理的信息：https://github.com/Microsoft/CNTK/wiki/CNTK-Evaluation-Overview。对于部署，您需要部署指定的dll here。有关在Azure中部署CNTK的教程可用here。

Answer 2

CNTK团队不存在这样的工具，但是一旦你有一个训练有素的模型，C ++或python中的新API应该可以很容易地完成任务。