我希望将keras tensorflow python神经网络托管在webserver / tcp / rpc /任何网络上， 基本上，人们将能够向以python编写的API发出请求，并且他们将获得由神经网络生成的结果。
我最初的方法是在Flask中编写一个Web服务器，并使用gunicorn对其进行多线程处理以提高性能，但是这种方法不能处理超过500个请求/秒。（我的目标是5000个请求/秒以上）< / p>
做到这一点的最佳方法是什么？我听说过FastAPI，但是我没有看到很多关于它的论文，并且我不想重做整个Web服务器，只是发现它根本没有提高性能...