TF服务部署两个模型

Question

我有两个不同的张量流模型A和B，模型A的输出将作为输入送入模型B。它们都需要通过tf服务进行部署。我需要用grpc或http requet调用两次以获取模型B的输出。

tf服务是否仅支持一个grpc或http请求以获取模型B的输出？

Answer 1

AFAIC，张量流服务不支持管道模式。但是我认为您可以将A和B合并为一个模型。