如何使用tensorflow服务来提供pytorch或sklearn模型

时间:2018-04-03 07:43:28

标签: tensorflow scikit-learn pytorch tensorflow-serving

我找到了仅使用张量服务来提供服务张量流模型的教程和帖子。 在model.conf文件中,有一个参数model_platform,其中可以提到tensorflow或任何其他平台。但是,我们如何以张量流方式导出其他平台模型,以便可以通过张量流服务来加载。

2 个答案:

答案 0 :(得分:0)

我不确定你能不能。 tensorflow平台设计灵活,但如果你真的想使用它,你可能需要实现一个C ++库来加载你保存的模型(在protobuf中),并提供一个服务于tensorflow服务平台。 Here是一个类似的问题。

我还没有看到这样的实施,我所看到的努力通常会朝着另外两个方向发展:

  1. 纯粹的python代码,例如通过HTTP或GRPC服务模型。比如Pipeline.AI
  2. 中正在开发的内容
  3. 将模型转储到PMML format,并使用java代码提供。

答案 1 :(得分:0)

没有回答问题,但是由于还没有更好的答案:除了adrin的替代说明外,这些可能会有所帮助: