我可以使用TF HUB的非微调BERT模型与TF服务一起使用吗？

Question

我是TF serving的新手，目前遇到这种问题。我使用TF HUB中的bert_en_uncased运行服务器部分，但我不了解如何正确实现客户端。我面对了几篇文章，但是每篇文章都假设我有一个现成的，经过微调的模型，该模型带有针对请求的预分配处理程序。任何人都可以共享一些导师或API参考来简化我的任务吗？

我读过一些文章：

• Deploy a Servable Question Answering Model Using TensorFlow Serving
• 3 Ways to Optimize and Export BERT Model for Online Serving
• Use BERT fine-tuned model for Tensorflow serving (GitHub issue)

PS。我并不是要创建QA模型或类似的模型，我只需要此特定模型的BERT嵌入即可。

Answer 1

UPD：已经解决了这个问题。最主要的是，TF.HUB模型没有任何规格列表或类似内容，只有一些文档说明如何与tf.hub一起使用。如果您遇到类似的问题，我建议您执行以下操作： 1）从TensorFlow的工具SavedModelCli进行安装/编译，也就是说，解压缩保存的模型并获取其规格； 2）在TF Serving上找到一些指南，只需更改一些代码段，几乎每个实现都是相同的； 3）可能您会（而且您会相信我）面对弃用警告。不要试图寻找文档，解决方案在这里:) 祝您为模型服务好！