使用Django，Gunicorn和Nginx服务深度学习模型时发生超时

Question

我能够在基于django，gunicorn和Nginx的4个2080TI GPU上提供深度学习模型。大多数延迟大约是200毫秒，但几个请求要花费2秒钟以上才能完成。它偶尔发生，并且在某些特定环境下很难重现。如何解决此问题？

顺便说一句，QPS仅为1〜2，因此并不是由于GPU / CPU繁忙而导致的。

这是Nginx日志：