加速TensorFlowJS模型

时间:2019-03-05 16:37:47

标签: tensorflow mxnet onnx tensorflowjs-converter

我使用mxnet框架训练了一个模型。模型的推断时间约为9毫秒。 该模型主要由卷积层组成,并使用深度可分离卷积。

我想在浏览器中运行该模型。我将模型从

转换为ONNX格式

ONNX->张量流->张量流js。

tensorflowjs模型的推断时间约为129毫秒。

是否有任何改善模型性能的建议?

我也尝试过ONNXJS,但似乎bugs仍然很少。

1 个答案:

答案 0 :(得分:1)

重新架构是可能的,因为您要处理129ms的延迟。您将有时间将图像发送到运行高性能推理服务器的端点(EC2或SageMaker + API Gateway)。

Vishaal