我们如何才能提高LUIS编程API的吞吐量？

Question

使用LUIS编程API时，在执行6个GET和POST请求时，我们经常会遇到429个错误（“请求太多”）。我们在代码中插入了一个停顿来处理这个问题。

我们有LUIS的付费订阅密钥，表示我们应该每秒获得50个请求（请参阅https://azure.microsoft.com/en-us/pricing/details/cognitive-services/language-understanding-intelligent-services/）。但是，付费订阅密钥似乎只能用于命中应用程序端点。对于请求标头中的Ocp-Apim-Subscription-Key，我们必须使用与Starter_Key关联的“编程密钥”，这显然是（显然）速率限制的。

我在这里遗漏了什么吗？我们如何在LUIS程序化API上获得更多吞吐量？

Answer 1

我们的一位工程师得到了以下答案，所以我将在这里发布他的答案。

程序化API仅限于5 requests per second, 100K requests per month。您的付费订阅密钥仅适用于端点API，而不适用于编程API。

如果您需要更多吞吐量：

1. 将您的API请求放入队列中。您不太可能需要每秒5次不间断地更新LUIS模型 - 您可能只需更新一次。将它们放入队列以保持在限制范围内。

2. 请勿尝试使用相同的用户帐户来管理多个LUIS模型。为每个模型设置其他帐户，从而为您提供其他程序密钥。每个程序密钥每秒为您提供5个请求。