如何在没有GPU的情况下提供深度学习模型

Question

由于节省了成本，因此我在运行带有常规CPU的深度学习模型。完成请求需要10秒，它是用python编写的。

我正在考虑通过使用Java，C ++或rust来提高性能。是否有现有的rust框架来选择深度学习模型。

Answer 1

有没有现成的rust框架来选择深度学习模型。

虽然我对rust框架不熟悉。如果您正在intel cpu上运行模型，我建议使用ONNX导出模型，并在具有Intel MKLDNN后端的mxnet上运行它。由于它使用英特尔MKLDNN和英特尔MKL库，因此应该为您带来最佳性能。您可以使用C ++ / Python。

使用MKLDNN安装mxnet

https://mxnet.apache.org/versions/1.6/api/python/docs/tutorials/performance/backend/mkldnn/mkldnn_readme.html

Answer 2

Tensorflow的性能关键部分用C ++编写。使用其他语言不会造成明显的性能差异。您可以量化网络或进行网络修剪以提高性能。