伙计们，我正在写一个应用程序，它将根据ML模型调用产生建议。该应用程序将具有不同的模型，其中一些应按顺序调用。数据科学家应该能够在系统中上传模型。这意味着应用程序应具有存储模型元数据和模型服务器地址的逻辑。将在模型上载事件中动态实例化模型服务器。 我想在这里使用TensorFlow Serving集群，但是我遇到了架构问题。 有没有办法为TensorFlow服务器提供类似服务注册表的功能？构建具有不同模型的服务器集群的最佳方法是什么？
答案 0 :(得分：0)
我需要澄清您要做什么。所有模型的特征向量都相同吗？如果不是这样，将很难做到这一点。训练有素的模型以SavedModel格式封装。听起来您好像想训练一个合奏，但是其中一些模型已冻结？如果需要的话，您当然可以编写一个自定义组件以将推理请求作为对Trainer的输入的一部分。
更新1 从下面的评论看来，您可能正在寻找的是服务网格，例如Istio。这将有助于管理容器内运行的服务之间的连接以及用户与服务之间的连接。在这种情况下，运行模型的tf.Serving实例是服务，但是基本的请求-响应模式是相同的。有帮助吗？