如何管理分布式系统中的限速？

Question

这是我们的Web应用容器服务：

• 接收多个pdf文件
• 将它们发送到Azure OCR服务（速率限制为每秒10次）
• 获取结果，进行一些处理并发送回响应

问题：

在整个过程中，我们使用多重处理将文件发送到OCR服务并接收回文件（在我们的情况下，Azure OCR是异步的）。有时，当规模达到目标时，我们往往会越过10 RPS限制。

可以做的一件事就是增加延迟。但是，我们用于容器服务的WebApp会在加载时自动缩放。

因此，随着服务器实例数量的增加，命中次数也随之增加，自动缩放的次数越多，延迟就越大。

那么，什么是解决此问题的好方法？

语言：Python