我使用mxnet框架训练了一个模型。模型的推断时间约为9毫秒。 该模型主要由卷积层组成,并使用深度可分离卷积。
我想在浏览器中运行该模型。我将模型从
转换为ONNX格式ONNX->张量流->张量流js。
tensorflowjs模型的推断时间约为129毫秒。
是否有任何改善模型性能的建议?
答案 0 :(得分:1)
重新架构是可能的,因为您要处理129ms的延迟。您将有时间将图像发送到运行高性能推理服务器的端点(EC2或SageMaker + API Gateway)。
Vishaal